Tag: attention

All the articles with the tag "attention".

종류	점수 함수	Q의 출처	K, V의 출처	출처 논문
Bahdanau (additive)	$v_a^\top \tanh(W_a s_{t-1} + U_a h_j)$	decoder 직전 상태	encoder 전체	Bahdanau et al. (2015)
Luong dot	$h_t^\top \bar{h}_s$	decoder 현재 상태	encoder 전체	Luong et al. (2015)
Luong general	$h_t^\top W_a \bar{h}_s$	decoder 현재 상태	encoder 전체	Luong et al. (2015)
Luong concat	$v_a^\top \tanh(W_a[h_t ; \bar{h}_s])$	decoder 현재 상태	encoder 전체	Luong et al. (2015)
Encoder self-attention	$QK^\top / \sqrt{d_k}$	encoder 이전 층	encoder 이전 층	Vaswani et al. (2017)
Masked self-attention	$QK^\top / \sqrt{d_k}$ (뒤쪽 $-\infty$ )	decoder 이전 층	decoder 이전 층	Vaswani et al. (2017)
Encoder-decoder attention	$QK^\top / \sqrt{d_k}$	decoder 이전 층	encoder 출력	Vaswani et al. (2017)

Attention 메커니즘 정리 - Seq2Seq에서 Transformer까지

Lab11-5에서 Seq2Seq model을 공부하면서 입력 문장 전체를 vector 하나로 압축한다는 점이 계속 걸렸다.