Machine Learning/Natural Language Processing/어텐션 메커니즘

어텐션 메커니즘 (Attention Mechanism)

어텐션 메커니즘 (Attention Mechanism) ​ 참고 [2015] Neural Machine Translation by Jointly Learning to Align and Translate 어텐션 메커니즘은 Seq2Seq 모델의 문제점을 개선하기 위해 제안되었다. 어텐션 메커니즘의 아이디어는 고정된 크기의 벡터(컨텍스트 벡터) 하나에 입력 시퀸...

Machine Learning/Natural Language Processing/어텐션 메커니즘

트랜스포머 (Transformer)

참고 [2017] Attention Is All You Need 트랜스포머(Transformer) 모델 ​ 트랜스포머 모델은 Seq2Seq 모델, 어텐션 이후 NLP 분야에서 나온 또 하나의 큰 도약이다. 트랜스포머 모델의 아이디어는 Seq2Seq + 어텐션 모델에서 RNN 구조를 제거하는 것이다. 즉 RNN을 사용하지 않고 오직 어텐션 연산(과 FC 연산...

Machine Learning/Natural Language Processing/어텐션 메커니즘

Seq2Seq 모델

참고 [2014] Sequence to Sequence Learning with Neural Networks 어텐션 메커니즘은 본래 Seq2Seq 모델을 개선하기 위해 제안된 메커니즘이다. 어텐션 메커니즘을 잘 이해하려면 Seq2Seq 모델을 이해해야 한다. Seq2Seq 모델 ​ Seq2Seq 모델은 번역, 요약과 같이 시퀸스(sequence)를 입력받아...

Machine Learning/Natural Language Processing/어텐션 메커니즘

서론

오늘날 우리는 트랜스포머(transformer)의 시대에 살고 있다고 말해도 과언이 아니다. 트랜스포머 기반 모델들은 대부분의 NLP task에서 SOTA를 달성하고 있다. 트랜스포머 모델의 핵심은 바로 어텐션(attention) 메커니즘에 있다. 본 시리즈에서는 어텐션 메커니즘에 대해 자세히 알아보겠다.

Machine Learning/토막글

Padded Sequence vs. Packed Sequence

문제상황 ​ 자연어와 같은 sequence 데이터들을 다루다 보면 짜증나는 요소가 하나 있는데, 바로 그 길이가 일정하지 않다는 것이다. 이미지 데이터의 경우 crop이나 resize 등으로 가로 세로 크기를 맞추고 진행하기에 모든 데이터들을 하나의 batch로 예쁘게 묶을 수 있다. 하지만 sequence 데이터는 길이가 다양해 하나의 batch로 묶기 ...