Related Post Entropy KL Divergence Cross Entropy Cross Entropy 교차 엔트로피의 의미는 이름에서 찾아볼 수 있다. 먼저 교차 엔트로피의 식을 한번 보자. \[ H\left( P, Q \right) = -\sum^n_{i=1} p\left( x_i \right) \log{ q\le...

Related Post Entropy KL Divergence Cross Entropy 이번에는 엔트로피에 이어 쿨백-라이블러 발산(Kullback-Leibler divergence)에 대해 알아보려 한다. Kullback-Leibler divergence, KLD 쿨백-라이블러 발산은 어떤 두 확률분포의 차이를 계산하기 ...

Related Post Entropy KL Divergence Cross Entropy 오토인코더에 대한 공부를 하다가 entropy, cross entropy, KL divergence 등 모르는 용어들이 있어서 더 이상 미루지 않고 공부를 해 보기로 했다. Entropy 엔트로피의 정의는 일반적인 용어냐, 과학 용어냐 ...

모두를 위한 딥러닝 Lab 3: Minimizing Cost 강의를 본 후 공부를 목적으로 작성한 게시물입니다. Theoretical Overview 이번에는 Grdient descent에 대해 조금 더 집중적으로 알아보기 위해 Hypothesis를 조금 더 단순하게 $ H(x) = Wx $로 바꾸어 살펴보자. cost는 똑같이 MSE(Mean...

모두를 위한 딥러닝 Lab 2: Linear regression 강의를 본 후 공부를 목적으로 작성한 게시물입니다. Theoretical Overview Hypothesis (가설) 선형 회귀에서 사용하는 1차 방정식을 말한다. weight와 bias를 계속 바꿔가면거 마지막 학습이 끝난 뒤의 최종값을 사용하여 데이터를 예측한다. 수식은 다음과...

모두를 위한 딥러닝 Lab 1: Tensor Manipulation 강의를 본 후 공부를 목적으로 작성한 게시물입니다. 1. Vector, Matrix and Tensor Vector, Matrix, Tensor의 표현은 위 그림과 같이 나타낼 수 있다. 각 구조들의 크기는 차원들의 크기의 곱으로 구할 수 있는데 Metrix와 Tons...

시간 제한 메모리 제한 2 초 512 MB 문제 우현이는 어린 시절, 지구 외의 다른 행성에서도 인류들이 살아갈 수 있는 미래가 오리라 믿었다. 그리고 그가 지구라는 세상에 발을 내려 놓은 지 23년이 지난 지금, 세계 최연소 ASNA 우주 비행사가 되어 새로운 세계에 발...

시간 제한 메모리 제한 0.5 초 512 MB tag: divide and conquer, recursion 문제 한수는 크기가 $2^N×2^N$인 2차원 배열을 Z모양으로 탐색하려고 한다. 예를 들어, 2×2배열을 왼쪽 위칸, 오른쪽 위칸, 왼쪽 아래칸, 오른쪽 아래칸...

시간 제한 메모리 제한 1 초 256 MB 문제 어느 날, 미르코는 우연히 길거리에서 양수 N을 보았다. 미르코는 30이란 수를 존경하기 때문에, 그는 길거리에서 찾은 수에 포함된 숫자들을 섞어 30의 배수가 되는 가장 큰 수를 만들고 싶어한다. 미르코를 도와 그가 만들...