์ผ | ์ | ํ | ์ | ๋ชฉ | ๊ธ | ํ |
---|---|---|---|---|---|---|
1 | 2 | 3 | 4 | 5 | 6 | 7 |
8 | 9 | 10 | 11 | 12 | 13 | 14 |
15 | 16 | 17 | 18 | 19 | 20 | 21 |
22 | 23 | 24 | 25 | 26 | 27 | 28 |
29 | 30 |
- ๋ผ์ด๋ค
- javascript๋๋ ํ
- Loginfilteing
- ์ฝ์ํจ์์กฐ์
- 1152๋ฒ
- wargame
- PacketCapture
- ๋ํ์์์จ์ฃผํ
- ๋ฆฌ๋ฒ์ฑ #crackme #๋ฆฌ๋ฒ์ฑ๊ธฐ์ด
- md5 true ์ทจ์ฝ์
- ord #ํ์ด์ฌ #๋ฐฑ์ค #10890๋ฒ
- machinelearning #seq2seq #attention #transformer
- onlinesqlviewer
- ์ํ๋ฒณ์ฐพ๊ธฐ
- ์ทจ์ฝํ์ธ์ฆ
- ์์จ์ฃผํ
- ํ๋์ฝ๋ฉ
- ๋ฆฌ๋ฒ์ฑ #PE #VA #RVA
- ์คํํธ์ #์ฐฝ์ #๋ํ์์ฐฝ์ #๋ํ์ #์นตํ ์ผ #์นตํ ์ผํคํธ #ํฌ๋ก์ฝ #์๋น์ฐฝ์ ํจํค์ง #์์ฐฝ #์บ ํผ์คํ์ด #์ธ์ข ๋ํ๊ต
- ๋ฒจ๋ก๋ค์ธ
- ๋ํ์์์์๋์ฐจ
- ์ ๋ ฅ๊ธธ์ด๋ณ๊ฒฝ
- exceptionHandling
- sqlํน์๋ฌธ์์ทจ์ฝ์
- ์ด๊ธฐ์ฐฝ์ #์๋น์ฐฝ์ ํจํค์ง #๋ํ์์ฐฝ์ #์ฐฝ์ ํ์ค #์ฌ์ #์นตํ ์ผ #๋ฌด์๋ณธ์ฐฝ์
- ์์จ์ฃผํ๋ํ
- SQL ๋ฌธ๋ฒ ์ทจ์ฝ์
- WebGoat #์นํดํน
- SQL char ์ทจ์ฝ์
- sqlinjection
- Today
- Total
๋ชฉ๋กAI (2)
๐ป ๐ง
Seq2Seq ํ๊ทธ: Attention Sequence-to-Sequence Structure ์ ๋ ฅ ๋ ์ํ์ค๋ก๋ถํฐ ๋ค๋ฅธ ๋๋ฉ์ธ์ ์ํ์ค๋ฅผ ์ถ๋ ฅํ๋ ๋ชจ๋ธ. ์ฑ๋ด๊ณผ ๋ฒ์ญ์ด ๋ํ์ ์ธ ์์์ธ๋ฐ, ์ ๋ ฅ์ํ์ค์ ์ถ๋ ฅ ์ํ์ค๋ฅผ ๊ฐ๊ฐ ์ง๋ฌธ๊ณผ ๋๋ต์ผ๋ก ๊ตฌ์ฑํ๋ฉด ์ฑ๋ด์ ๋ง๋ค ์ ์๊ณ ๋ฒ์ญ๊ธฐ๋ก๋ ์ฌ์ฉ ํ ์ ์๋ค. ์ค์ฌ์ Seq2Seq ๋ถ๋ฅธ๋ค. ๋ฒ์ญ๊ธฐ๊ฐ Seq2Seq ๋ฅผ ํตํด ๋ฒ์ญ์ ํ๋ ๊ตฌ์กฐ์ธ๋ฐ, ๊ทธ ์์ธํ ๋ด๋ถ ๊ตฌ์กฐ๊ฐ ์ด๋ป๊ฒ ์๊ฒผ๋์ง๋ฅผ ์์์ผ ํ๋ค. Seq2Seq ๋ ์ธ์ฝ๋์ ๋์ฝ๋๋ก ์ด๋ฃจ์ด์ง๋๋ฐ ์ธ์ฝ๋๋ ์ ๋ ฅ ๋ฌธ์ฅ์ ๋ชจ๋ ๋จ์ด๋ค์ ์์ฐจ์ ์ผ๋ก ์ ๋ ฅ๋ฐ์ ๋ค์ ํ๋์ ๋ฒกํฐ , ์๋ฏธ๋ฒกํฐ ( Context Vector ) ๋ก ๋ง๋ ๋ค. ์ปจํ ์คํธ ๋ฒกํฐ๋ก ์์ถ๋๋ฉด ๋์ฝ๋๋ก ๋ณด๋ด๋๋ฐ ๋์ฝ๋๋ ์ด ์ปจํ ์คํธ ๋ฒกํฐ๋ฅผ ๋์ฝ๋์ ํ์ต ๋ ๋ค..
ํ์ต๋ฅ ( Learning Rate ) Gradient Descent :๊ฒฝ์ฌํ๊ฐ๋ฒ ์๊ณ ๋ฆฌ์ฆ์ ๊ธฐ์ธ๊ธฐ์ ํ์ต๋ฅ ๋๋ ๋ณดํญ์ ์ค์นผ๋ผ๋ฅผ ๊ณฑํด ๊ฐ์ ๋ค์์ง์ ์ ๊ฒฐ์ ํ๋ค. :Local Minimum ์ ํจ์จ์ ์ผ๋ก ๋๋ฌ ํ ์ ์๋๋ก, ๋๋ฌด ํฌ์ง๋ ์์ง๋ ์์ ์ ์ ํ ๊ฐ ( lr ) ์ ๊ฒฐ์ ํด์ผ ํจ. ์ฌ์ฉ ๋ ํ์ต๋ฅ ์ด ํจ์จ์ ์ธ์ง, ์ ์ ํ์ง๋ ๋ค์์ ๊ทธ๋ฆผ์ ํตํด์ ์ ์ ์๋ค. low learning rate : ์์ค ๊ฐ์๊ฐ ์ ํ์ ํํ๋ฅผ ๋ณด์ด๋ฉฐ ์ฒ์ฒํ ํ์ต ๋จ -> ๋๋ฌด ๋๋ ค์ ์์ ์ด ์๋ฃ๋์ง ์์ ๊ฐ๋ฅ์ฑ์ด ์์. high leaning rate : ์์ค ๊ฐ์๊ฐ ์ง์์ ์ธ ํํ๋ฅผ ๋ณด์ด๋ฉฐ ๋น ๋ฅธ ํ์ต์ด๊ฑฐ๋ ์์ ์ ์ฒด -> ํน์ ๊ฐ์ ์๋ ดํ์ง ์๊ณ ๋ฐ์ฐ ํ ๊ฐ๋ฅ์ฑ์ด ํผ very high leaning rate : ๋งค์ฐ ๋..