카테고리: background

$a, b \in \mathbb{Z}$이고 $a$를 $b$로 나눈 나머지를 $r$이라 하자. ($b \leq a, 0 \leq r \leq b$)

$a, b$의 최대 공약수를 $(a, b)$라고 하면, 다음이 성립한다.

$(a, b)=(b, r)$

출처: wikipidia

$r$이 0이 될 때 알고리즘을 멈추며, 이 때의 $b$가 최대공약수가 된다.

예를 들어 1460과 1037에 대해 알고리즘을 진행해보면 다음과 같다.

\begin{flalign*} (1460, 1037)\\=(1037, 323)\\=(323, 68)\\=(68, 52)\\=(52, 16)\\=(16, 4)\\=(4,0) \end{flalign*}

$r$이 0일때 $b$가 4이므로 1460과 1037의 최대공약수는 4이다.

종류	점수 함수	Q의 출처	K, V의 출처	출처 논문
Bahdanau (additive)	$v_a^\top \tanh(W_a s_{t-1} + U_a h_j)$	decoder 직전 상태	encoder 전체	Bahdanau et al. (2015)
Luong dot	$h_t^\top \bar{h}_s$	decoder 현재 상태	encoder 전체	Luong et al. (2015)
Luong general	$h_t^\top W_a \bar{h}_s$	decoder 현재 상태	encoder 전체	Luong et al. (2015)
Luong concat	$v_a^\top \tanh(W_a[h_t ; \bar{h}_s])$	decoder 현재 상태	encoder 전체	Luong et al. (2015)
Encoder self-attention	$QK^\top / \sqrt{d_k}$	encoder 이전 층	encoder 이전 층	Vaswani et al. (2017)
Masked self-attention	$QK^\top / \sqrt{d_k}$ (뒤쪽 $-\infty$)	decoder 이전 층	decoder 이전 층	Vaswani et al. (2017)
Encoder-decoder attention	$QK^\top / \sqrt{d_k}$	decoder 이전 층	encoder 출력	Vaswani et al. (2017)

$$\nabla w_3=\frac{\partial cost}{\partial W_3}=\frac{\partial cost}{\partial o_1}\frac{\partial o_1}{\partial y_1}\frac{\partial y_1}{\partial W_3}$$

$\nabla W_3$는 chain rule을 통해 위와 같이 미분이 바로 되는 형식으로 표현할 수 있다. 한 번 더 거슬러 올라가 보자.

이번에는 $\nabla W_1$과 $\nabla W_2$를 구할 차례이다. 먼저 $\nabla X_1$을 구해보자.

$$\frac{\partial cost}{\partial W_1}=\frac{\partial cost}{\partial y_1}\frac{\partial y_1}{\partial h_{z_2}}\frac{\partial h_{z_2}}{\partial z_2}\frac{\partial z_2}{\partial W_1}$$

$$KL\left( P\|\|Q \right) = H\left( P, Q \right) = -\sum^n_{i=1} p\left( x_i \right) \log{ q\left( x_i\right ) }$$

이런 이유 때문에 교차 엔트로피 자체가 loss로 기능할 수 있는 것이다.

$KL\left( P\|\|Q \right) = H\left( P, Q \right) - H\left( P \right)$ $= \left( -\sum^n_{i=1} p\left( x_i \right) \log{ q\left( x_i\right ) } \right) - \left( -\sum^n_{i=1} p\left( x_i \right) \log{ p\left( x_i\right ) } \right)$

$$= -\sum^n_{i=1} p\left( x_i \right) \log{ \frac{ q\left( x_i\right )}{ p\left( x_i\right ) } }$$

이때 이산확률분포의 쿨백-라이블러 발산은 위에서 표현한 것과 같이 총 합으로 나타낼 수 있으며 다음과 같고

$$KL\left( P\|\|Q \right) = \sum_i P\left( i \right) \log{ \frac{ P\left( i \right )}{ Q\left( i \right ) } }$$

$$H\left(x\right) = E\left( I\left ( x\right ) \right) = -\sum^n_{i=1} p\left( x_i \right) \log_b{ p\left( x_i\right ) }$$

엔트로피는 정보량이 클수록 커지는 성질을 가진다. 다른 정보이론에서는 모르겠지만 머신러닝 분야에서는 예측을 하는 것이 목적이므로 예측에 맞춰 다시 말을 정리하면, 예측이 힘들수록 더 크다는 것이 된다.

이것이 앞서 예측하기 어려운 정도가 가장 와닿았다고 하는 이유였다.

다음 포스팅에서는 이 엔트로피를 이용한 대표적인 loss인 cross entropy를 알아보기 위해 KL divergence에 대해 먼저 알아보려 한다.