Tag: kl-divergence

All the articles with the tag "kl-divergence".

KL\left( P\|\|Q \right) = H\left( P, Q \right) = -\sum^n_{i=1} p\left( x_i \right) \log{ q\left( x_i\right ) }

이런 이유 때문에 교차 엔트로피 자체가 loss로 기능할 수 있는 것이다.

Cross Entropy(교차 엔트로피)

교차 엔트로피의 의미는 이름에서 찾아볼 수 있다. 먼저 교차 엔트로피의 식을 한번 보자. 엔트로피 식에 와 의 밀도함수들이 교차해서 들어가 있다. 그런 의미에서 교차 엔트로피라는 이름이 붙은 것이다.

2022.04.27·2분·entropy

BACKGROUNDKL

$KL\left( P\|\|Q \right) = H\left( P, Q \right) - H\left( P \right)$ $= \left( -\sum^n_{i=1} p\left( x_i \right) \log{ q\left( x_i\right ) } \right) - \left( -\sum^n_{i=1} p\left( x_i \right) \log{ p\left( x_i\right ) } \right)$

= -\sum^n_{i=1} p\left( x_i \right) \log{ \frac{ q\left( x_i\right )}{ p\left( x_i\right ) } }

이때 이산확률분포의 쿨백-라이블러 발산은 위에서 표현한 것과 같이 총 합으로 나타낼 수 있으며 다음과 같고

KL\left( P\|\|Q \right) = \sum_i P\left( i \right) \log{ \frac{ P\left( i \right )}{ Q\left( i \right ) } }

KL divergence(쿨백-라이블러 발산)

이번에는 엔트로피에 이어 쿨백-라이블러 발산(Kullback-Leibler divergence)에 대해 알아보려 한다.

2022.04.26·3분·entropy