machinelearning #seq2seq #attention #transformer 1

Seq2Seq

Seq2Seq ํƒœ๊ทธ: Attention Sequence-to-Sequence Structure ์ž…๋ ฅ ๋œ ์‹œํ€€์Šค๋กœ๋ถ€ํ„ฐ ๋‹ค๋ฅธ ๋„๋ฉ”์ธ์˜ ์‹œํ€€์Šค๋ฅผ ์ถœ๋ ฅํ•˜๋Š” ๋ชจ๋ธ. ์ฑ—๋ด‡๊ณผ ๋ฒˆ์—ญ์ด ๋Œ€ํ‘œ์ ์ธ ์˜ˆ์‹œ์ธ๋ฐ, ์ž…๋ ฅ์‹œํ€€์Šค์™€ ์ถœ๋ ฅ ์‹œํ€€์Šค๋ฅผ ๊ฐ๊ฐ ์งˆ๋ฌธ๊ณผ ๋Œ€๋‹ต์œผ๋กœ ๊ตฌ์„ฑํ•˜๋ฉด ์ฑ—๋ด‡์„ ๋งŒ๋“ค ์ˆ˜ ์žˆ๊ณ  ๋ฒˆ์—ญ๊ธฐ๋กœ๋„ ์‚ฌ์šฉ ํ•  ์ˆ˜ ์žˆ๋‹ค. ์ค„์—ฌ์„œ Seq2Seq ๋ถ€๋ฅธ๋‹ค. ๋ฒˆ์—ญ๊ธฐ๊ฐ€ Seq2Seq ๋ฅผ ํ†ตํ•ด ๋ฒˆ์—ญ์„ ํ•˜๋Š” ๊ตฌ์กฐ์ธ๋ฐ, ๊ทธ ์ž์„ธํ•œ ๋‚ด๋ถ€ ๊ตฌ์กฐ๊ฐ€ ์–ด๋–ป๊ฒŒ ์ƒ๊ฒผ๋Š”์ง€๋ฅผ ์•Œ์•„์•ผ ํ•œ๋‹ค. Seq2Seq ๋Š” ์ธ์ฝ”๋”์™€ ๋””์ฝ”๋”๋กœ ์ด๋ฃจ์–ด์ง€๋Š”๋ฐ ์ธ์ฝ”๋”๋Š” ์ž…๋ ฅ ๋ฌธ์žฅ์˜ ๋ชจ๋“  ๋‹จ์–ด๋“ค์„ ์ˆœ์ฐจ์ ์œผ๋กœ ์ž…๋ ฅ๋ฐ›์€ ๋’ค์— ํ•˜๋‚˜์˜ ๋ฒกํ„ฐ , ์˜๋ฏธ๋ฒกํ„ฐ ( Context Vector ) ๋กœ ๋งŒ๋“ ๋‹ค. ์ปจํ…์ŠคํŠธ ๋ฒกํ„ฐ๋กœ ์••์ถ•๋˜๋ฉด ๋””์ฝ”๋”๋กœ ๋ณด๋‚ด๋Š”๋ฐ ๋””์ฝ”๋”๋Š” ์ด ์ปจํ…์ŠคํŠธ ๋ฒกํ„ฐ๋ฅผ ๋””์ฝ”๋”์— ํ•™์Šต ๋œ ๋‹ค..

AI/Machine Learning 2024.01.28