[NLP] 어텐션 메커니즘 (Attention Mechanism)

이번 글에서는 NLP 분야에서 대세 모듈로서 사용되고 있는 트랜스포머의 기반이 되는 어텐션 메커니즘에 대해 알아보겠습니다. 1. 어텐션 메커니즘이란? 어텐션 매커니즘은 주로 시퀀스 데이터를 처리하고 가중치를 할당하여 어떤 부분에 주목할지 결정하는 데 사용됩니다. 어텐션 메커니즘은 주로 기계 번역, 텍스트 요약, 이미지 캡션 생성 및 음성 처리 등의 작업에서 활용됩니다. 어텐션 메커니즘의 핵심 아이디어는 입력 시퀀스의 각 요소에 대한 "주의(attention)"또는 "중요도"를 할당하여 출력을 생성하는동안 특정 부분에 다른 정도의 주의를 기울일 수 있다는 것입니다. 이것은 특히 장거리 종속성 및 문맥 정보를 포착하는 데 유용합니다. 여기서는 어텐션 메커니즘의 큰 그림만 알아두시고 아래에서 더 자세히 설명하..

• format_list_bulleted Data Analysis/NLP
• · 2023. 10. 20.
• textsms

[ML] 추천 알고리즘 - ALS(Alternation Least Squares)

1. 추천 알고리즘 이란? 추천알고리즘은 다양하지만 이 글에서는 협업 필터링 방식의 추천 방식을 예로 설명드리겠습니다. 먼저 협업필터링 방식은 많은 사용자들로부터 얻은 정보에 따라 사용자의 관심사를 자동적으로 예측하게 해주는 방법입니다. 예시로 유저 A가 영화에 평점을 매겼을 때 유저 B가 비슷하게 준 경우 유저 B가 높게 준 영화가 있다면 해당 영화를 추천해줍니다. 영화 평점이 유저 B와 비슷하니 A도 평점을 높게 줄것이라고 예측하는 것 입니다. 2. ALS (Alternation Least Squares) ALS는 사용자와 아이템 매트릭스를 서로 번갈아가면서 업데이트를 반복하며 최적화 후 사용자와 아이템의 관계에 따라 추천을 해주는 방식입니다. 먼저 사용자 혹은 아이템의 매트릭스를 작은 랜덤 값으로 ..

• format_list_bulleted Data Analysis/Machine Learning(ML)
• · 2022. 6. 27.
• textsms