Attention은 기본적으로 입력 시퀀스의 각 요소에 가중치(h)를 할당하여 중요한 정보를 강조하고, 그 결과를 바탕으로 출력을 생성함. 이는 입력과 출력 사이의 관계를 학습하고 모델이 관련 정보에 집중할 수 있도록 돕기 위함임.
이를테면 기계 번역에서 문장의 각 단어가 다른 단어와 어떻게 연관되어 있는지를 파악하는 것이 중요한데, Attention 메커니즘은 이런 상황에서 모델이 입력 문장의 특정 부분에 집중하여 더 정확한 번역을 생성할 수 있도록 도움.
Self-Attention은 Attention을 확장한 형태로, 주로 Transformer 모델 등에서 사용됨. Self-Attention은 입력 시퀀스 내의 각 요소가 서로 얼마나 관련되어 있는지를 측정하여 가중치(h)를 할당함.
예를 들면, "The cat sat on the mat."이라는 문장이 있다고 가정했을 때. 'cat'이라는 단어와 'sat'라는 단어가 서로 관련성이 높다고 판단될 경우, Self-Attention 메커니즘이 이러한 관계성을 인식하고 'sat'라는 단어에 대한 정보를 생성할 때 'cat'에 더 많은 가중치를 부여함.
두 개념 모두 입력 데이터 내부의 상대적 중요성을 파악하는 방법인 점에서 유사하지만, 일반 Attention이 다른 정보와 비교하여 어느 부분에 집중해야 하는지 결정한다면, Self-Attention은 같은 시퀀스 내부의 요소들 간 상호 관계를 파악하는 데 초점을 맞춤.