[NLP] 어텐션 메커니즘 (Attention Mechanism)

이번 글에서는 NLP 분야에서 대세 모듈로서 사용되고 있는 트랜스포머의 기반이 되는 어텐션 메커니즘에 대해 알아보겠습니다. 1. 어텐션 메커니즘이란? 어텐션 매커니즘은 주로 시퀀스 데이터를 처리하고 가중치를 할당하여 어떤 부분에 주목할지 결정하는 데 사용됩니다. 어텐션 메커니즘은 주로 기계 번역, 텍스트 요약, 이미지 캡션 생성 및 음성 처리 등의 작업에서 활용됩니다. 어텐션 메커니즘의 핵심 아이디어는 입력 시퀀스의 각 요소에 대한 "주의(attention)"또는 "중요도"를 할당하여 출력을 생성하는동안 특정 부분에 다른 정도의 주의를 기울일 수 있다는 것입니다. 이것은 특히 장거리 종속성 및 문맥 정보를 포착하는 데 유용합니다. 여기서는 어텐션 메커니즘의 큰 그림만 알아두시고 아래에서 더 자세히 설명하..