Backpropagation 데이터를 레이어의 노드들을 통과시키면서 설정된 weight에 따라 예측 결과값을 계산하는 것을 forward pass라고 한다. MLP의 결과값을 만들어 주는 필수적인 과정이지만 이것만으로는 weight를 개선하면서 학습을 진행할 수가 없다. 이것을 가능하게 해준 것이 바로 backpropagation(오차 역전파...

모두를 위한 딥러닝 Lab8-2: Multi Layer Perceptron 강의를 본 후 공부를 목적으로 작성한 게시물입니다. MLP(Multi Layer Perceptron) MLP는 단일 퍼셉트론을 여러개 쌓은 것으로 단일 퍼셉트론으로 해결하지 못한 XOR과 같은 문제를 해결하기 위해 제안된 구조이다. 위와 같이 XOR 문제는 선을 2...

모두를 위한 딥러닝 Lab8-1: Perceptron 강의를 본 후 공부를 목적으로 작성한 게시물입니다. Neuron 먼저 퍼셉트론의 컨셉이 된 뉴런에 대해 알아보자. 뉴런은 동물의 신경계를 구성하는 세포로 다음과 같은 형태이다. 뉴런은 자극을 전기 신호를 전달하는 통로라고 할 수 있는데, 이때 강도가 어느 정도(threshold)를 넘어...

모두를 위한 딥러닝 Lab7-2: MNIST Intoduction 강의를 본 후 공부를 목적으로 작성한 게시물입니다. MNIST dataset MNIST 데이터 셋은 숫자 손글씨를 모아놓은 데이터 셋이다. 사람들이 적은 숫자들을 우체국에서 자동으로 처리하기 위해 만들어진 것이 이 셋의 시작점이라고 한다. MNIST는 다음과 같이 28x28 크...

모두를 위한 딥러닝 Lab7-1: Tips 강의를 본 후 공부를 목적으로 작성한 게시물입니다. Maximum Likelihood Estimate(MLE) Probalility vs Likelihood Probalility(확률)는 우리가 잘 알고 있듯이 어떤 관측값이 발생할 정도를 뜻하는데, 이는 다르게 말하면 한 확률분포에서 해당 관측값 또...

이활석님의 오토인코더의 모든 것 강의를 본 후 공부 및 정리를 목적으로 작성한 게시물임을 알려드립니다. Introduction Autoencoder 오토인코더는 인폿과 아웃풋이 같은 네트워크를 의미한다. Auto-associators, Diabolo nerworks, Sandglass-shaped net 등의 이명으로 불리기도 하며 가장 많이 불...

모두를 위한 딥러닝 Lab 6: Softmax Classification 강의를 본 후 공부를 목적으로 작성한 게시물입니다. Softmax Classification(Multinomial Classification) 이전 포스팅에서는 이진 분류 문제에 대해 알아봤다. 이번에는 분류해야 할 범주가 2개(0, 1)가 아니라 여러개인 다중 분류에 대해...

모두를 위한 딥러닝 Lab 5: Logistic Classification 강의를 본 후 공부를 목적으로 작성한 게시물입니다. Logistic Regression(Binary Classification) Hypothesis로 sigmoid(logistic) 함수를 사용하는 회귀 방법이다. 흔히 Binary classification ploblem...

모두를 위한 딥러닝 Lab 4_2: Loading Data 강의를 본 후 공부를 목적으로 작성한 게시물입니다. Data in the Real World lab4_1에서 다루었던 Multivariate Linear Regression에서는 학습 데이터로 3개의 차원을 가진 5개의 샘플을 사용했었다. 하지만 실제 우리가 다루려고 하는 데이터는 그 크...

모두를 위한 딥러닝 Lab 4_1: Multivariate Linear Regression 강의를 본 후 공부를 목적으로 작성한 게시물입니다. Theoretical Overview 이전 포스팅까지의 regression은 하나의 변수를 통해 예측을 하는 것이었다. 하지만 직관적으로 생각해 보더라도 여러 변수를 가지고 더 많은 정보를 통해 예측하면 ...