이활석님의 오토인코더의 모든 것 강의를 본 후 공부 및 정리를 목적으로 작성한 게시물임을 알려드립니다. Introduction Autoencoder 오토인코더는 인폿과 아웃풋이 같은 네트워크를 의미한다. Auto-associators, Diabolo nerworks, Sandglass-shaped net 등의 이명으로 불리기도 하며 가장 많이 불...

모두를 위한 딥러닝 Lab 6: Softmax Classification 강의를 본 후 공부를 목적으로 작성한 게시물입니다. Softmax Classification(Multinomial Classification) 이전 포스팅에서는 이진 분류 문제에 대해 알아봤다. 이번에는 분류해야 할 범주가 2개(0, 1)가 아니라 여러개인 다중 분류에 대해...

모두를 위한 딥러닝 Lab 5: Logistic Classification 강의를 본 후 공부를 목적으로 작성한 게시물입니다. Logistic Regression(Binary Classification) Hypothesis로 sigmoid(logistic) 함수를 사용하는 회귀 방법이다. 흔히 Binary classification ploblem...

모두를 위한 딥러닝 Lab 4_2: Loading Data 강의를 본 후 공부를 목적으로 작성한 게시물입니다. Data in the Real World lab4_1에서 다루었던 Multivariate Linear Regression에서는 학습 데이터로 3개의 차원을 가진 5개의 샘플을 사용했었다. 하지만 실제 우리가 다루려고 하는 데이터는 그 크...

모두를 위한 딥러닝 Lab 4_1: Multivariate Linear Regression 강의를 본 후 공부를 목적으로 작성한 게시물입니다. Theoretical Overview 이전 포스팅까지의 regression은 하나의 변수를 통해 예측을 하는 것이었다. 하지만 직관적으로 생각해 보더라도 여러 변수를 가지고 더 많은 정보를 통해 예측하면 ...

Related Post Entropy KL Divergence Cross Entropy Cross Entropy 교차 엔트로피의 의미는 이름에서 찾아볼 수 있다. 먼저 교차 엔트로피의 식을 한번 보자. \[ H\left( P, Q \right) = -\sum^n_{i=1} p\left( x_i \right) \log{ q\le...

Related Post Entropy KL Divergence Cross Entropy 이번에는 엔트로피에 이어 쿨백-라이블러 발산(Kullback-Leibler divergence)에 대해 알아보려 한다. Kullback-Leibler divergence, KLD 쿨백-라이블러 발산은 어떤 두 확률분포의 차이를 계산하기 ...

Related Post Entropy KL Divergence Cross Entropy 오토인코더에 대한 공부를 하다가 entropy, cross entropy, KL divergence 등 모르는 용어들이 있어서 더 이상 미루지 않고 공부를 해 보기로 했다. Entropy 엔트로피의 정의는 일반적인 용어냐, 과학 용어냐 ...

모두를 위한 딥러닝 Lab 3: Minimizing Cost 강의를 본 후 공부를 목적으로 작성한 게시물입니다. Theoretical Overview 이번에는 Grdient descent에 대해 조금 더 집중적으로 알아보기 위해 Hypothesis를 조금 더 단순하게 $ H(x) = Wx $로 바꾸어 살펴보자. cost는 똑같이 MSE(Mean...

모두를 위한 딥러닝 Lab 2: Linear regression 강의를 본 후 공부를 목적으로 작성한 게시물입니다. Theoretical Overview Hypothesis (가설) 선형 회귀에서 사용하는 1차 방정식을 말한다. weight와 bias를 계속 바꿔가면거 마지막 학습이 끝난 뒤의 최종값을 사용하여 데이터를 예측한다. 수식은 다음과...