반응형

전체 글 115

[선형 대수학] 4.2 벡터의 내적과 코사인 법칙

벡터의 내적과 코사인 법칙 두 벡터 u와 v가 이루는 각의 크기가 θ(0≤θ≤π)일 때, u와 v의 내적(inner product, dot product)을 u · v 로 나타내고 다음과 같이 정의한다. u · v = |u||v|cos θ u = 0 또는 v = 0 일 때, u · v =0 으로 한다. 같은 두 벡터의 내적은 두 벡터가 이룬 각의 크기가 0이므로, u · u = |u||u|cos 0 = |u||u|· 1 u · u = , 또 영벡터가 아닌 두 벡터 u와 v가 수직이기 위한 필요충분조건은 이다.영벡터가 아닌 두 벡터 u와 v가 평행이기 위한 필요충분조건은 이다. 벡터의 내적을 벡터의 성분으로 나타내보자. 영벡터가 아닌 두 벡터 u,v에 대하여 , = u, = v, = θ 라 한다. 에서 코..

Mathmatics 2019.12.29

[선형 대수학] 4.1 벡터 연산과 스칼라

벡터 vs 스칼라 벡터는 크기와 방향을 동시에 나타내는 양을 의미하며, 크기만을 나타내는 양을 스칼라(Scalar) 라고 한다. AB의 스칼라 크기는 로 나타낼수 있으며, 벡터는 로 나타낼 수 있다. 벡터의 덧셈과 스칼라배 벡터의 덧셈두 벡터 u와 v의 합은 u의 종점과 v의 시점을 일치시키고 u의 시점을 시작점, v의 끝을 종점으로 하는 벡터이고, u+v로 나타낸다. 벡터의 뺄셈은 두 벡터 u와 -v의 합, 즉, u+(-v) = u-v 벡터의 스칼라배벡터 v와 실수 a에 대하여 벡터v와 a의 곱, av를 v의 스칼라배라 하고, av는 (1) a>0 일 때, 방향은 v와 같고 크기는 a,av는 (2) a

Mathmatics 2019.12.29

[Pytorch] 선형 레이어와 비선형 레이어

참고 자료[1] Pytorch로 시작하는 딥러닝, 비슈누 수브라마니안 지음, 김태완 옮김 딥러닝 학습과정 선형 레이어선형 레이어는 여러가지 이름으로 불린다. 다른 프레임워크에서는 덴스 레이어(dense Layer) 또는 연결 레이어(Fully Connected Layer)라고 부르기도 한다. 다수의 복수 레이어를 사용한다는 개념은 각 레이어 마다 입력 데이터의 패턴을 학습하고, 다음 레이어는 앞에서 학습한 패턴을 기반으로 학습을 이어나간다는 것이다. 그러나, 단순히 선형 레이어를 연속으로 여러 개 쌓게 되면 1개 선형 레이어로 간단하게 표현된 학습 결과와 같다. Y = 2(3X) - 2개의 선형 레이어Y = 6(X) - 1개의 선형 레이어 이러한 문제를 해결하기 위해, 여러 비선형 함수를 사용하게 되며 ..

[선형 대수학] 1. 행렬

행렬이란, 수 또는 문자들을 직사각형 모양으로 배열하고 괄호로 묶어 놓은 것을 행렬(Matrix)이라고 합니다. 괄호 안의 수 또는 문자를 그 행렬의 성분(Element, Component)이라 하고, 동일 수평선 위의 성분 전체, 즉 가로 줄의 성분 전체를 행(row), 동일 수직선 위의 성분 전체, 즉 세로 줄의 성분 전체를 열(Column)이라 한다. 일반적으로 M(행) x N(열) 행렬이라 하고, 그림1과 같다. 특수행렬 영행렬 모든 성분이 0인 행렬을 영행렬(Zero Matrix)이라 한다. n차 정사각 행렬(정방행렬, Square matrix of order n), 상삼각행렬, 하삼각행렬, 대각행렬 - 행과 열의 수가 n으로 같은 행렬을 일컫는다. n차 정사각행렬, 즉 - 정사각행렬 U에 대하..

Mathmatics 2019.12.19

[드라마] 눈이 부시게

앞만 보고 달려왔던 지난 날들에 대해 돌아볼 수 있었던 드라마 였습니다. 이틀만에 12화를 모두 볼 정도로 슬프고, 빠져들게 되는 드라마 였어요! 그 중에서도 가장 인상에 남았던 구절이 있어 기록해볼까 합니다. 모든 삶에는 가치가 있습니다. 자신을 조금 더 사랑하고 아껴주세요. "후회만 가득한 과거와 불안한 미래 때문에 지금을 망치지 마세요" 현재 이 시간이 지나면 과거에 불과하답니다!! 현재 이시간을 후회없이 보내시길 바랍니다.

참고 및 꿀팁 2019.12.13

[Deep Learning] 확률적 경사 하강법(Stochastic Gradient Descent)

참고 자료 [1] https://light-tree.tistory.com/133 딥러닝 용어정리, MGD(Mini-batch gradient descent), SGD(stochastic gradient descent)의 차이 제가 공부한 내용을 정리한 글입니다. 제가 나중에 다시 볼려고 작성한 글이다보니 편의상 반말로 작성했습니다. 잘못된 내용이 있다면 지적 부탁드립니다. 감사합니다. MGD(Mini-batch gradient descent), SGD(st.. light-tree.tistory.com [2] https://twinw.tistory.com/247 수식과 코드로 보는 경사하강법(SGD,Momentum,NAG,Adagrad,RMSprop,Adam,AdaDelta) 1. 개요 가중치를 조절하는 ..

[Deep Learning] 배치 경사 하강법(Batch Gradient Decent)

참고자료 [1] https://ruder.io/optimizing-gradient-descent/index.html#gradientdescentvariants An overview of gradient descent optimization algorithms Gradient descent is the preferred way to optimize neural networks and many other machine learning algorithms but is often used as a black box. This post explores how many of the most popular gradient-based optimization algorithms such as Momentum, Adagr..

[선형대수학] 소개

선형 대수학(Linear Algebra)은 대수학, 해석학, 기하학 분야에서 주로 쓰이며, 자연과학, 인문과학 등 다양한 분야의 연구에도 유용합니다. 또한 암호학, 정보과학 분야에서도 떼어 놓을 수 없는 과목이기도 하지요. 영상처리 및 딥러닝을 하는 저로썬, 기초가 되는 수학이기도 합니다. 연구를 하다보면, 이론적인 배경의 필요성과 한계를 많이 느끼곤 하는데 개인적으로 한 단계 더 성장하기 위해 "선형대수학 -기초와 응용-" 이라는 책을 기본으로 하여 포스팅 해볼 생각입니다. 목차의 구성은 다음과 같습니다. 1. 행렬 2. 행렬과 연립일차방정식 3. 행렬식 4. 벡터 5. 벡터 공간 6. 선형변환 7. 고유값과 고유벡터 8. 응용 1 9. 응용 2 순으로 진행됩니다. 기본서를 중심으로 이해하기 쉽게 인터..

Mathmatics 2019.12.05

Scene Graph Generation 논문에 대한 이해

참고자료 [1] Y. Li, W. Ouyang, B. Zhou, K. Wang, and X. Wang.“Scene graph generation from objects, phrases and region captions.” In ICCV, 2017. 관련 연구 Object Detection Scene Graph Generation Image/Region Captioning 내용 Scene Graph 기술은 주어진 장면에 대하여 객체뿐만 아니라, 객체들 간의 관계를 추론하는 방법으로 입력 영상으로부터 인스턴스(Instance)단위 객체를 분류하고, 연결 그래프를 이용하여 관계를 명시적으로 표현한다. 과 같이, 3가지 단계에 걸쳐 장면에 대한 의미추론을 수행한다. 먼저, 객체탐지(Object Detectio..

[Pytorch] 딥러닝 신경망에서 사용되는 기본 구조

참고 자료 [1] Pytorch로 시작하는 딥러닝, 비슈누 수브라마니안 지음, 김태완 옮김 신경망에서 기본 블록으로 사용되는 주요 컴포넌트를 구현해 보았으며, 대부분의 딥러닝 구조는 이러한 큰 틀을 벗어나지 않는다. 각각의 의미를 파악하고, 구조에 대해 미리 학습해보자. 1. 첫 신경망에서의 데이터 준비, 데이터 로딩 2. 학습 파라미터 생성 3. 신경망 모델(네트워크 구현, 오차함수, 신경망 최적화(옵티마이저)) 1. 첫 신경망에서의 데이터 준비, 데이터 로딩 첫 신경망 코드에서 get_data 함수는 변수 2개를 다음과 같이 생성합니다. def get_data(): train_x = np.asarray([1.1,2.2,3,4,5,6,7,8.999,9.555]) train_y = np.asarray([..

오토 인코더(Auto-Encoder)의 이해

[참고 자료] 1.핸즈온 머신러닝(Hands-On Machine Learning with Scikit-Learning & TensorFlow), 한빛 미디어 2. 오토인코더의 모든 것(naver d2, 발표자 : 이활석님) https://youtu.be/o_peo6U7IRM 1. 오토 인코더의 개념 오토 인코더는 "어떤 감독 없이도(즉, 레이블 되어 있지 않은 훈련 데이터를 사용해서) 입력 데이터의 효율적인 표현인 코드를 학습할 수 있는 인공 신경망"을 말합니다. 여기서 코드는 입력차원의 데이터를 표현할수 있는, 입력보다 낮은 차원의 데이터를 말하므로 종종 차원 축소에 유용하게 사용되기도 합니다. (코딩은 Latent Variable, feature, Hidden representation으로 불리기도 ..

[Pytorch] 차원에 따른 Tensor

참고 자료[1] Pytorch로 시작하는 딥러닝, 비슈누 수브라마니안 지음, 김태완 옮김Pytorch는 데이터를 추상화 하는 Tensor와 Variable 을 제공. Tensor는 파이썬의 numpy 배열과 유사한 클래스를 의미하며, GPU 에서 향상된 성능을 제공하기 때문에 딥 러닝(Deep learning)에서는 Tensor의 형태로 데이터를 변환하여 사용한다.Tensor의 유형 및 연산1. 스칼라(Scalar) : 0차원 Tensor로, 단순하게 하나의 값만 존재한다. 2. 벡터(Vector) : 1차원 Tensor로, 1차원 배열을 의미한다.3. 행렬(Matrix) : 2차원 Tensor로, 행렬의 의미한다.4. 3차원 Tensor : 이미지와 같은 여러 형렬을 결합한 데이터를 의미한다. 이미지의..

리눅스에서 ssh 로그아웃해도 백그라운드에서 실행하는 방법

출처 : http://bahndal.egloos.com/528463 원격으로 우분투 컴퓨터를 사용하는 과정에서 불편함이 있어, 백그라운드에서 실행하는 방법을 찾아서 적용해 봤습니다. ssh 로그아웃 해야하는데 프로세스가 끝나지 않았을 경우, 해당 프로세스를 실행중인 상태로 남겨두기 위한 방법이라고 합니다. # 명령어(저의 경우 주피터 노트북입니다.) jupyter lab --ip 0.0.0.0 --allow-root (나의 명령어) 1. ctrl +z 를 통해 프로세스를 보류시킵니다. ps를 해보면 아직 프로세스가 살아있는것을 볼수 있습니다. ctrl+z 2. 백그라운드 전환bg 1 3. 작업의 권한을 쉘 session 에서 해제disown 4. 로그아웃 이 과정을 거치게 되면 백그라운드에서 프로세스가 ..

참고 및 꿀팁 2019.01.22

GAN(Generative Adversarial Network)의 이해

참고자료 : [1] 1시간만에 GAN(Generative Adversarial Network) 완전 정복하기 [2] https://towardsdatascience.com/understanding-generative-adversarial-networks-4dafc963f2ef [3] https://dreamgonfly.github.io/2018/03/17/gan-explained.html 1. GAN(Generative Adversarial Network)이란? Generative : "생성적인, 생산하는"이라는 뜻으로 GAN모델 안에서의 의미는 이미지를 생성한다라는 의미입니다. Adversarial : "적대적인" 이르는 뜻으로, 서로 경쟁하면서 무엇인가를 좋게하는 의미입니다. 즉, 이미지를 만들긴 하..

반응형