기존에는 h3(context vector)가 RNN의 구조적 특성 때문에 입력 문장인 ‘나는 학생 입니다.’를 잘 담았다고 생각했습니다.  근데 RNN + Attention의 입장에서는 그게 충분하지 않다고 생각을 한 것입니다.

그래서 ‘이제부터 h1, h2, h3가 각 단어를 잘 담았다고 해보자!’ 라고 제안합니다.

‘저는’에 해당하는 x1을 h3가 잘 담지 못하고 있죠? 그렇기 때문에 그냥 h1이 x1을 제대로 담당하고, h2가 x2를 제대로 담당하고, h3가 x3를 제대로 담당하는 녀석으로 보고 그 세 개를 더해서 context vector를 만들어보자는 것입니다.

그런데 이렇게만 하면 좀 아쉽습니다.
C4는 h1~h3 중에서 어떤 녀석이 가장 중요하게 고려되어야 할까요 ?
영어로 ‘student’니까 h2에 해당하는 ‘학생’ 이겠죠?
그래서 그냥 더해주는게 아니라  weighted sum을 합니다. 그리고 weight를 업데이트 해주는 것이죠. 어떤 단어를 주목할지(가중치를 더 부여할지) 학습하는 것입니다. 그런데 아직 부족합니다. 이렇게만 하면 문제가 있어요.

위의 예시를 그대로 사용한다면 \( C_4=W_1h_1+W_2h_2+W_3h_3 \)  식에서  W2  를 더 키워주려고 하겠죠?

식에서  를 더 키워주려고 하겠죠?

잘 생각해보면 2번째 라는 시점이 중요한게 아니라 ‘학생’이라는 단어 자체가 중요합니다.
그런데 위의 식으로 계산하면 시점에만 가중치가 붙을 거 같아요. 왜냐하면 라는 존재만 학습하기 때문이죠. 이렇게 하면 나중에 문장의 구조가 바뀌어서 ‘저는 딥러닝을 공부하는 학생입니다.’ 이런 문장이 나올 경우 ‘학생’이라는 단어를 잘 못찾아갈 가능성이 있습니다.

그래서 W(가중치)에 단어를 반영할 수 있도록 해보자는 것입니다.
어떻게 해보면 좋을까요?
‘현재 단어도 보자 !’입니다. C_4 (4번째 시점)에서의 단어는 ‘an’입니다. 이 ‘an’에서 어떤 단어를 주목하면 좋을지 x1 , x2 , x3  를 보자는 것이예요.

현재 ‘an’을 담고있는 것은 S4 입니다. ‘저는 학생 입니다’를 담고있는 x1, x2,x3 이 벡터들의 관계를 S4의 입장으로 한 번 살펴보자는 것입니다. 이 벡터들은 시점이 아니라 입력 문장이 가지고 있는 단어를 담고있어서 시점에 따라 다른 값이 아닙니다. 그래서 그 단어 그대로 weighting을 해줄 수 있다는 것입니다.

정리하자면, ‘I am an’까지 본 상황에서는 입력 문장을 봤을 때 어떤 단어를 중요하게 봐야할지를 weight로 나타낸게 바로 Attention인 것이고 이걸 내적으로 나타냅니다.

내적(dot product)은 벡터간에 닮음의 정도를 나타냅니다.

내적을 사용한 식은 이렇게 됩니다.

\( C_4 = <S_4,h_1>h_1 + <S_4,h_2>h_2 + <S_4,h_3>h_3 \)

이렇게 C4 를 만들고 이걸 S4와 엮어서 Cross Entropy 통과시키죠. ( L4=CE(hat{y_4},y_4 )

그렇게 함으로써 L_4 를 줄이기 위해서 Weight들이 잘 학습이 되겠죠? 

다시보면 기존의 방법은 이 weight들이 ‘an’과 거리가 너무 멀어서 흐려지는 문제가 발생한다고 했는데, 이렇게 하면 그 거리 문제를 확실히 해결할 수 있어보이네요. 

아래의 그림을 보면 어떻게 계산이 되는지 눈으로 확인할 수 있습니다. 그림을 보면 \( C_4 \)에서 모든 루트를 거치지 않고 바로 순간이동 해 버립니다. 

그러면 멀수록 흐려진다는 문제(gradient가 매우 작아짐!)가 해결되면서 Gradient가 풍부해집니다.