💻 🧐

Seq2Seq 태그: Attention Sequence-to-Sequence Structure 입력 된 시퀀스로부터 다른 도메인의 시퀀스를 출력하는 모델. 챗봇과 번역이 대표적인 예시인데, 입력시퀀스와 출력 시퀀스를 각각 질문과 대답으로 구성하면 챗봇을 만들 수 있고 번역기로도 사용 할 수 있다. 줄여서 Seq2Seq 부른다. 번역기가 Seq2Seq 를 통해 번역을 하는 구조인데, 그 자세한 내부 구조가 어떻게 생겼는지를 알아야 한다. Seq2Seq 는 인코더와 디코더로 이루어지는데 인코더는 입력 문장의 모든 단어들을 순차적으로 입력받은 뒤에 하나의 벡터 , 의미벡터 ( Context Vector ) 로 만든다. 컨텍스트 벡터로 압축되면 디코더로 보내는데 디코더는 이 컨텍스트 벡터를 디코더에 학습 된 다..

학습률 ( Learning Rate ) Gradient Descent :경사하강법 알고리즘은 기울기에 학습률또는 보폭의 스칼라를 곱해 값의 다음지점을 결정한다. :Local Minimum 에 효율적으로 도달 할 수 있도록, 너무 크지도 작지도 않은 적절한 값 ( lr ) 을 결정 해야 함. 사용 된 학습률이 효율적인지, 적절한지는 다음의 그림을 통해서 알 수 있다. low learning rate : 손실 감소가 선형의 형태를 보이며 천천히 학습 됨 -> 너무 느려서 작업이 완료되지 않을 가능성이 있음. high leaning rate : 손실 감소가 지수적인 형태를 보이며 빠른 학습이거나 완전 정체 -> 특정 값에 수렴하지 않고 발산 할 가능성이 큼 very high leaning rate : 매우 높..