Seq2Seq

Seq2Seq

태그: Attention

Sequence-to-Sequence

Structure

입력 된 시퀀스로부터 다른 도메인의 시퀀스를 출력하는 모델. 챗봇과 번역이 대표적인 예시인데, 입력시퀀스와 출력 시퀀스를 각각 질문과 대답으로 구성하면 챗봇을 만들 수 있고 번역기로도 사용 할 수 있다.

줄여서 Seq2Seq 부른다.

번역기가 Seq2Seq 를 통해 번역을 하는 구조인데, 그 자세한 내부 구조가 어떻게 생겼는지를 알아야 한다.

Seq2Seq 는 인코더와 디코더로 이루어지는데 인코더는 입력 문장의 모든 단어들을 순차적으로 입력받은 뒤에 하나의 벡터 , 의미벡터 ( Context Vector ) 로 만든다. 컨텍스트 벡터로 압축되면 디코더로 보내는데 디코더는 이 컨텍스트 벡터를 디코더에 학습 된 다른 언어로 출력하게 된다.

인코더 부분과 디코더 부분의 내부는 RNN 인 LSTM이나 GRU 셀들로 구성이 되어있습니다. 디코더는 기본적으로 RNN Language Model 인데, 디코더에 초기입력으로 문장의 시작을 의미하는 가 들어가게 된다.

디코더는 가 입력되면, 다음에 등장할 확률이 높은 단어를 예측한다. 첫번째 시점의 ( time step ) 의 디코더 RNN 셀은 다음에 등장할 단어로 je 를 예측했는데, 이를 두번째 RNN 셀의 입력으로 입력하게 된다. 그럼 두번째 셀은 je 로 부터 suis 를 예측하고 이것을 다음 셀로 보내게 된다. 그리도 문장의 끝을 의미하는 가 다음 단어로 예측이 될 때까지 이를 반복한다.

Embedding Layer

전체적인 구조를 살펴보았으니, 더 자세히 seq2seq의 구조에 대해 알아보도록 하겠다. 단어는 임베딩 레이어를 통해 토큰화이후 벡터화가 된다. 텍스트가 아니라 해당 단어를 표현하는 벡터로 바뀌게 되는 것이다.

4차원으로 표시되었지만, 실제 임베딩 벡터를 수백개의 차원을 가질 수 있다.

RNN CELL

Embedding Layer 를 통해 벡터화 된 단어들이 RNN 셀에 들어가게 되는데, 이 RNN 셀을 살펴보도록 하겠다.

RNN 셀은 각각의 시점 ( time step ) 마다 두개의 입력이 존재하고, 입력을 통해 새로운 은닉 상태를 만든다. 즉 다음과 같은 순서로 작동하게 된다.

1. 현재 시점 time-step t 라고 할 때, t-1 의 은닉 상태를 입력으로 받는다.
2. 현재 시점 time-step t 라고 할 때, t 에서의 입력벡터를 입력으로 받는다.
3. 현재 시점 t 의 은닉 상태를 만들어 낸다.
4. 이때 t 에서의 은닉상태는 또 다른 은닉층으로 보내거나 필요 없으면 값을 무시할 수 있다.
5. t 은닉상태를 t+1 Cell 의 입력으로 보낸다.

이렇듯 이전 셀의 은닉상태 값들이 현재 값 연산에 포함되기 때문에 이전의 모든 셀들의 정보를 요약해서 담고 있다고 할 수 있다.

Decoder Cell

디코더는 인코더의 마지막 RNN 셀의 은닉 상태인 컨텍스트 벡터를 첫번째 은닉상태의 값으로 사용한다. 디코더의 첫번째 RNN 셀은 컨텍스트 벡터와 현재시점 t 에서의 입력값인 로부터 다음에 등장할 단어를 예측하게 된다. 그리고 예측된 단어는 t+1 시점의 셀에 은닉상태값의 입력값이 된다.

출력단어로 나올 수 있는 단어들이 여러개 있는데, seq2seq 모델은 소프트맥스 함수를 통해서 출력 시퀀스의 단어별 확률값을 반환하고, 디코더가 출력 단어를 결정하게 된다.

💡 활성화 함수 이진분류 : sigmoid (다중분류)확률 : softmax RELU : Gradient Vanishing 문제 해결 가능 <회기문제>에 일반적으로 사용 가능