Self-Attention에서 입력 시퀀스의 각 벡터는 세 가지 변환을 통해 Query, Key, Value로 매핑됨. 이 변환은 학습 가능한 가중치 행렬에 의해 수행되며, 각각 별도의 가중치 행렬이 사용됨.

1. Query

• Query는 현재 Attention하고 정보를 의미함
• 이를테면 Query는 "The cat sat on the ___."이란 문장을 번역한다고 가정했을 때, 'on'이라는 전치사 다음에 올 적절한 명사를 찾기 위해서 'on'이라는 단어와 관련된 정보를 정의함.

2. Key

• Key는 Query와 비교되는 정보를 의미함
• 이를테면 Key는 "The cat sat on the ."이란 문장을 번역한다고 가정했을 때, Query('')와 관련된 모든 단어나 요소임(The, cat, sat, on, the)

3. Value

• Value는 Query와 Key를 비교한 뒤, 각 단어에 매긴 중요도(가치)임
• 이를테면 Value는 "The cat sat on the ."이란 문장을 번역한다고 가정했을 때, Query('')와 Key(The, cat, sat, on, the)를 비교해서, Query와 유사도 점수(similarity score)가 높은 Key에게는 더 큰 Value를 주고, 그렇지 않으면 작은 Value를 줌

이후에는 다음과 같은 과정을 거침

1. 유사도 점수 계산: Query와 모든 Key 사이의 유사도 점수(similarity score)가 계산해서, Value 반영 정도를 계산함
2. 확률 분포 생성: 유사도 점수는 Softmax Function을 통해, 정규화되어 확률 분포(attention weights)를 생성함 3. 값 조합: 확률 분포(attention weights)와 각 Value들을 곱하고 합해서, 최종 출력 벡터를 만듬