GRU, ELMO - 딥러닝을 이용한 자연어처리 입문

# GRU : Gate Recursive Unit

(게이트 순환 유닛)

- 의의 : 

    - LSTM 과 같은 성능, 그러나 은닉상태(h 값)를 계산하는 식은 더 간단하게

    - 게이트의 갯수가 2개밖에 없다 (업데이트, 리셋 게이트)

# ELMo (Embedding from Language Model)

- 특징 : 사전에 훈련된 언어 모델을 사용한다

- 문제의식 : Bank Account(은행 계좌)와 River Bank(강둑) 같이, 같은 Bank임에도 불구하고, 문맥에 따라 다른 의미를 띠기도 한다

-> 그러나 일반적인 Glove 나 word2Vec 의 경우, Bank 가 똑같은 의미로 사용되었다고 간주하고 임베딩을 시킴

-> 즉, 동음이의어에 취약한 특성을 지님.

- 해결책 : 문맥을 반영한 워드 임베딩! (contextual word embedding)