반응형 Encoder2 [DL][NLP] Transformer Encoder 동작 과정(Multi Head Self Attention, Position-wise Feed Forward Neural Network(FFNN)) 1. Encoder의 Self-AttentionSelf - Atention의 의미Attention Function은 주어진 "Query"에 대해서 모든 "Key"와의 유사도를 각각 구하고, 이 유사도를 가중치로 하여 Key와 Mapping 되어 있는 각각의 "Value"에 반영하는 합수이다. 그리고 유사도가 반영된 "Value"를 모두 가중합하여 Attention Value를 구한다. 앞서 Seq2Seq에서 Attention을 사용할 경우 Query, Key, Value는 아래와 같았다. t 시점이라는 것은 계속 변화하면서 반복적으로 Query를 수행하므로 전체 시점에 대해서도 일반화할 수 있다 Q : t 시점의 Decoder Cell에서의 hidden State -> 모든 시점의 Decoder .. 2024. 10. 29. [DL][NLP] Seq2Seq 예제 (Pytorch) 이전 Seq2Seq 글을 보고오시면 좋습니다 ! [DL][NLP] Seq2Seq(Seqence to Sequence) 모델RNN에 대해 먼저 알고 보면 더 이해가 쉽습니다 !2024.08.26 - [DL/RNN] - [DL][RNN] RNN(Recurrent Neural Network, 순환 신경망) 구조 [DL][RNN] RNN(Recurrent Neural Network, 순환 신경망) 구조앞선 글에서 RNN에 대해 간략self-objectification.tistory.com 1. EncoderSeq2Seq의 Encoder에서는 Input Sequence의 모든 단어들을 순차적으로 입력받은 뒤 마지막에 이 모든 단어 정보를 압축하여 Context Vector(RNN의 마지막 Hidden State).. 2024. 10. 28. 이전 1 다음 반응형
