๋ถ„๋ฅ˜ ์ „์ฒด๋ณด๊ธฐ 27

Seq2Seq

Seq2Seq ํƒœ๊ทธ: Attention Sequence-to-Sequence Structure ์ž…๋ ฅ ๋œ ์‹œํ€€์Šค๋กœ๋ถ€ํ„ฐ ๋‹ค๋ฅธ ๋„๋ฉ”์ธ์˜ ์‹œํ€€์Šค๋ฅผ ์ถœ๋ ฅํ•˜๋Š” ๋ชจ๋ธ. ์ฑ—๋ด‡๊ณผ ๋ฒˆ์—ญ์ด ๋Œ€ํ‘œ์ ์ธ ์˜ˆ์‹œ์ธ๋ฐ, ์ž…๋ ฅ์‹œํ€€์Šค์™€ ์ถœ๋ ฅ ์‹œํ€€์Šค๋ฅผ ๊ฐ๊ฐ ์งˆ๋ฌธ๊ณผ ๋Œ€๋‹ต์œผ๋กœ ๊ตฌ์„ฑํ•˜๋ฉด ์ฑ—๋ด‡์„ ๋งŒ๋“ค ์ˆ˜ ์žˆ๊ณ  ๋ฒˆ์—ญ๊ธฐ๋กœ๋„ ์‚ฌ์šฉ ํ•  ์ˆ˜ ์žˆ๋‹ค. ์ค„์—ฌ์„œ Seq2Seq ๋ถ€๋ฅธ๋‹ค. ๋ฒˆ์—ญ๊ธฐ๊ฐ€ Seq2Seq ๋ฅผ ํ†ตํ•ด ๋ฒˆ์—ญ์„ ํ•˜๋Š” ๊ตฌ์กฐ์ธ๋ฐ, ๊ทธ ์ž์„ธํ•œ ๋‚ด๋ถ€ ๊ตฌ์กฐ๊ฐ€ ์–ด๋–ป๊ฒŒ ์ƒ๊ฒผ๋Š”์ง€๋ฅผ ์•Œ์•„์•ผ ํ•œ๋‹ค. Seq2Seq ๋Š” ์ธ์ฝ”๋”์™€ ๋””์ฝ”๋”๋กœ ์ด๋ฃจ์–ด์ง€๋Š”๋ฐ ์ธ์ฝ”๋”๋Š” ์ž…๋ ฅ ๋ฌธ์žฅ์˜ ๋ชจ๋“  ๋‹จ์–ด๋“ค์„ ์ˆœ์ฐจ์ ์œผ๋กœ ์ž…๋ ฅ๋ฐ›์€ ๋’ค์— ํ•˜๋‚˜์˜ ๋ฒกํ„ฐ , ์˜๋ฏธ๋ฒกํ„ฐ ( Context Vector ) ๋กœ ๋งŒ๋“ ๋‹ค. ์ปจํ…์ŠคํŠธ ๋ฒกํ„ฐ๋กœ ์••์ถ•๋˜๋ฉด ๋””์ฝ”๋”๋กœ ๋ณด๋‚ด๋Š”๋ฐ ๋””์ฝ”๋”๋Š” ์ด ์ปจํ…์ŠคํŠธ ๋ฒกํ„ฐ๋ฅผ ๋””์ฝ”๋”์— ํ•™์Šต ๋œ ๋‹ค..

AI/Machine Learning 2024.01.28

[์ž์œจ์ฃผํ–‰ ์ž์ž‘ ์ž๋™์ฐจ / DRIVEN ] ํšŒ๊ณ ๋ฅผ ์œ„ํ•œ ๊ธฐ๋ก

DRIVEN ์€ ์ฒœ์•ˆ์— ์žˆ๋Š” ํ•œ๊ตญ๊ธฐ์ˆ ๊ต์œก๋Œ€ํ•™๊ต์˜ ์ž์ž‘ ์ž๋™์ฐจ ๋™์•„๋ฆฌ์ด๋‹ค. ๋‚ด๊ฐ€ ์ฐธ์—ฌ ํ–ˆ์„ ๋•Œ 19๊ธฐ ๋™์•„๋ฆฌ๋ผ ํ–ˆ์œผ๋‹ˆ ๊ฝค ์œ ์„œ๊ฐ€ ์žˆ๋Š” ๋™์•„๋ฆฌ์ด๋‹ค. ๋‚ด๊ฐ€ ์–ด๋–ป๊ฒŒ ์ฒœ์•ˆ์— ์žˆ๋Š” ๋Œ€ํ•™๊ต ๋™์•„๋ฆฌ์— ์ฐธ์—ฌํ•˜๊ฒŒ ๋˜์—ˆ๋‚˜... ์‹ถ์ง€๋งŒ ์‚ฌ์‹ค ๋ณ„๊ฑฐ ์—†๋‹ค. ๋‚˜๋Š” ์ž์œจ์ฃผํ–‰ ์‹œ์Šคํ…œ ํŒ€์žฅ์œผ๋กœ 2023๋…„ ๋Œ€ํ•™์ƒ ์ฐฝ์ž‘ ๋ชจ๋นŒ๋ฆฌํ‹ฐ ๊ฒฝ์ง„๋Œ€ํšŒ ์ž์œจ์ฃผํ–‰์„ฑ๋Šฅ๋ถ€๋ฌธ์— ์ฐธ์—ฌํ•˜์˜€๋‹ค. ๊ฝค ๊ธด ์‹œ๊ฐ„๋™์•ˆ ์†์— ๋“ค๊ณ  ์žˆ์„ ์˜ˆ์ •์ด๋ผ ์žŠ์–ด๋ฒ„๋ฆฌ๊ธฐ ์ „์— ํ”„๋กœ์ ํŠธ ํšŒ๊ณ ๋ฅผ ์œ„ํ•œ ๊ธ€์„ ์ ์–ด๋‘๋ ค๊ณ  ํ•œ๋‹ค. ์šด์ „ ์ค‘์— ๋Œ€๋œธ ์˜ค์ผ€์ด ! 23๋…„ 2์›”, ์˜ฌ๋ฆผํ”ฝ๋Œ€๋กœ ์–ด๋”˜๊ฐ€์—์„œ ์ฐจ๊ฐ€ ๋„ˆ๋ฌด ๋ง‰ํ˜€ ์กธ๋ฆฌ๊ณ , ๋‹ต๋‹ตํ•œ ๋งˆ์Œ์— ์นœ๊ตฌ๋“ค์—๊ฒŒ ์ „ํ™”๋ฅผ ๋Œ๋ฆฌ๊ธฐ ์‹œ์ž‘ํ–ˆ๋‹ค. ( ์‚ฌ์‹ค ์ด๋•Œ ๋งŒํผ ์•ˆ๋ถ€์ „ํ™”๋ฅผ ํ•˜๊ธฐ ์ข‹์€ ์ˆœ๊ฐ„์ด ์—†์–ด, ๋‚˜๋Š” ์ฐจ ๋ง‰ํžˆ๋Š” ์ˆœ๊ฐ„๋„ ๊ฝค ๊ดœ์ฐฎ์•„ ํ•œ๋‹ค.) ๊ทธ ์•ˆ๋ถ€์ „ํ™” ์ค‘ ํ•œ๋ช…์ด ์ฒœ์•ˆ์— ์žˆ๋Š” ์นœ๊ตฌ..

Exp/Project 2023.06.20

No ์ž๋ณธ, No ์•„์ด๋””์–ด๋กœ ์‹œ์ž‘ํ•œ ์Šคํƒ€ํŠธ์—…(2) : Done is better than perfect

2022.12.14 - [Exp] - No ์ž๋ณธ, No ์•„์ด๋””์–ด๋กœ ์‹œ์ž‘ํ•œ ์Šคํƒ€ํŠธ์—…(1) No ์ž๋ณธ, No ์•„์ด๋””์–ด๋กœ ์‹œ์ž‘ํ•œ ์Šคํƒ€ํŠธ์—…(1) ๋ฐ”๋‹ฅ์—์„œ์˜ ์‹œ์ž‘. 2๋…„์ด ์กฐ๊ธˆ ์•ˆ ๋˜๋Š” ์‹œ๊ฐ„ ๋™์•ˆ์˜ ์ฐฝ์—…์„ ๋งˆ์น˜๋ฉฐ ๋‚˜์™€ ๋น„์Šทํ•œ ์ƒ๊ฐ์œผ๋กœ ์ฐฝ์—…์„ ์‹œ์ž‘ํ•˜๋Š” ์‚ฌ๋žŒ๋“ค์ด ์žˆ๋‹ค๋ฉด ๋„์›€์ด ๋˜๊ธธ ๋ฐ”๋ผ๋ฉฐ, ์–ด๋–ค ์ผ์ด ์žˆ์—ˆ๋Š”์ง€ ๊ธฐ๋กํ•˜๋ ค ํ•œ๋‹ค. ์ด 3๊ฐœ์˜ ๊ฒŒ proggg.tistory.com ํ—ฌ๋กœ์ฝ•์€ ์˜ˆ๋น„์ฐฝ์—…ํŒจํ‚ค์ง€ ์„ ์ • ์ดํ›„ ์—ฌ๋Ÿฌ๊ฐ€์ง€ ์ง€์›์‚ฌ์—…์— ์ถ”๊ฐ€๋กœ ์„ ์ •์ด ๋˜์—ˆ๋‹ค. ๊ทธ ์ค‘์—์„œ๋„ ์„œ์šธ์‹œ ์บ ํผ์Šคํƒ€์šด ์€ ์ •๋ง ์ธ์ƒ์ ์ด์—ˆ๋‹ค. ๋งค๋ฒˆ ํšŒ์˜๋‚˜ ์ž‘์—…์„ ์˜จ๋ผ์ธ์ด๋‚˜ ์„ธ์ข…๋Œ€ํ•™๊ต ํˆฌ์ธํ”Œ๋ ˆ์ด์Šค์—์„œ ํ–ˆ๋˜ ์šฐ๋ฆฌ์—๊ฒŒ ์ผ ํ•  ๊ณต๊ฐ„์ด ์ƒ๊ธด๊ฒƒ์€ ์ •๋ง ์ข‹์•˜๊ณ , ํšจ์œจ์ ์ด์—ˆ๋‹ค. ์ด ์‹œ๊ธฐ์— ๋‚˜๋Š” ํŒ€์›๋“ค์„ ๋ฌผ๋ฆฌ์ ์œผ๋กœ ๋ฌถ์–ด๋‘๋Š” ์‚ฌ๋ฌด์‹ค์ด๋ผ๋Š” ๊ณต๊ฐ„์ด ์ •๋ง ํ•„์š”ํ•˜๋‹ค๊ณ  ์ƒ๊ฐํ–ˆ์—ˆ๋‹ค. 4..

No ์ž๋ณธ, No ์•„์ด๋””์–ด๋กœ ์‹œ์ž‘ํ•œ ์Šคํƒ€ํŠธ์—…(1)

๋ฐ”๋‹ฅ์—์„œ์˜ ์‹œ์ž‘. 2๋…„์ด ์กฐ๊ธˆ ์•ˆ ๋˜๋Š” ์‹œ๊ฐ„ ๋™์•ˆ์˜ ์ฐฝ์—…์„ ๋งˆ์น˜๋ฉฐ ๋‚˜์™€ ๋น„์Šทํ•œ ์ƒ๊ฐ์œผ๋กœ ์ฐฝ์—…์„ ์‹œ์ž‘ํ•˜๋Š” ์‚ฌ๋žŒ๋“ค์ด ์žˆ๋‹ค๋ฉด ๋„์›€์ด ๋˜๊ธธ ๋ฐ”๋ผ๋ฉฐ, ์–ด๋–ค ์ผ์ด ์žˆ์—ˆ๋Š”์ง€ ๊ธฐ๋กํ•˜๋ ค ํ•œ๋‹ค. ์ด 3๊ฐœ์˜ ๊ฒŒ์‹œ๊ธ€์„ ์ž‘์„ฑํ•  ๊ฒƒ์ด๊ณ , ์ฐฝ์—…์„ ํ•˜๋ฉฐ ๊ฒช์—ˆ๋˜ ์ผ๋“ค์— ๋น„ํ•˜๋ฉด ํ„ฑ์—†์ด ๋ถ€์กฑํ•œ ๋ถ„๋Ÿ‰์ด์ง€๋งŒ ํผ์งํผ์งํ•œ ์ผ๋“ค์„ ์œ„์ฃผ๋กœ ์‚ฌ์ง„๊ณผ ํ•จ๊ป˜ ํฌ์ŠคํŒ…ํ•  ์˜ˆ์ •์ด๋‹ค. 2020๋…„ 4์›”, ์ฐฝ์—…์— ๋Œ€ํ•œ ๋ง‰์—ฐํ•œ ๊ฟˆ์ด ์ปค์ง€๋ฉด์„œ ์„ธ์ข…๋Œ€ํ•™๊ต์—์„œ ์ฃผ๊ด€ํ•˜๋Š” ์ฐฝ์—… ์•„์ด๋””์–ด ๊ฒฝ์ง„๋Œ€ํšŒ์— ๋‚˜๊ฐ€๊ธฐ๋กœ ๊ฒฐ์ •ํ–ˆ๋‹ค. ๊ทธ๋• Notion ๋ณด๋‹ค๋Š” OneNote ๋ฅผ ๊ธฐ๋ก์šฉ์œผ๋กœ ์‚ฌ์šฉํ–ˆ์—ˆ๋‹ค. ์–ด๋–ค ํŒ€์ด๋“  ๊ทธ๋ ‡๊ฒ ์ง€๋งŒ ํŒ€์›์„ ๊ตฌํ•˜๋Š” ๊ฒƒ์€ ์—ฌ๊ฐ„ ํž˜๋“  ์ผ์ด ์•„๋‹ˆ์—ˆ๋‹ค. ์ฒ˜์Œ์œผ๋กœ ์„ญ์™ธ๋ฅผ ํ–ˆ๋˜ ์ธ๋ฌผ์€ ๋‹น์‹œ์— ๊ฐ™์ด ์‚ด๊ณ  ์žˆ๋˜ CPA๋ฅผ ์ค€๋น„ํ•˜๋Š” ํ˜•์ด์—ˆ๋‹ค. ์ฐฝ์—… ์•„์ด๋””์–ด๋Š” ์—†๊ณ  ๋ˆ๋„ ์—†๋Š”๋ฐ ์ผ๋‹จ ๊ฐ™์ด ํ•ด..

Exp 2022.12.14

Audio Data Preprocessing

Audio ? audio ๋Š” ๋งค์งˆ์ด ์ง„๋™ ํ•˜๋ฉด์„œ ๋ฐœ์ƒํ•œ๋‹ค. ์˜ˆ๋ฅผ ๋“ค์–ด ๋ชฉ์†Œ๋ฆฌ๋Š” ์„ฑ๋Œ€์—์„œ ๋ฐœ์ƒํ•œ ํŒŒ๋™์ด ๊ณต๊ธฐ๋ฅผ ๋ถ„์ž๋ฅผ ์ง„๋™์‹œํ‚ค๋ฉด์„œ ํ˜•์„ฑ๋˜๋Š” ๊ณต๊ธฐ์••์˜ ์ง„ํญ์ด ์œ„์™€ ๊ฐ™์€ waveform ํ˜•ํƒœ๋ฅผ ๋งŒ๋“ค๊ฒŒ ๋œ๋‹ค. Y ์ถ•์€ Amplitude ( ์ง„ํญ ). X ์ถ•์€ Time (์‹œ๊ฐ„ . sec ) ์ด๋‹ค. ํŠน์ • ์ง€์ ์—์„œ ๊ทธ ๊ฐ’์ด ๋‹ค์‹œ ๋“ฑ์žฅํ•˜๊ธฐ ๊นŒ์ง€์˜ ์‹œ๊ฐ„์„ period ( ์ฃผ๊ธฐ ) ๋ผ๊ณ  ํ•œ๋‹ค. ์ฃผ๊ธฐ์˜ ์—ญ์ˆ˜๋Š” frequency ( ์ฃผํŒŒ์ˆ˜ ) ๊ฐœ๋…์œผ๋กœ ํ™•์žฅ์ด ๋œ๋‹ค. Frequency ๋Š” Hz ๋‹จ์œ„๋ฅผ ์‚ฌ์šฉํ•˜๊ณ  ์ดˆ๋‹น 100๋ฒˆ period ( ์ฃผ๊ธฐ ) ๊ฐ€ ๋ฐœ์ƒํ•˜๋Š” ์†Œ๋ฆฌ๋ฅผ 100 Hz ๋ผ๊ณ  ์ •์˜ ํ•œ๋‹ค. ๋”ฐ๋ผ์„œ ์ฃผํŒŒ์ˆ˜๋Š” f = 1/t ์ˆ˜์‹์ด ์„ฑ๋ฆฝํ•œ๋‹ค. ์‚ฌ๋žŒ์˜ ๊ฐ€์ฒญ ์ฃผํŒŒ์ˆ˜ ( Frequency ) ๋Š” 20 Hz ~ 20KHz ์ด๋‹ค. A..

Learning Rate ( lr , ํ•™์Šต๋ฅ  )

ํ•™์Šต๋ฅ  ( Learning Rate ) Gradient Descent :๊ฒฝ์‚ฌํ•˜๊ฐ•๋ฒ• ์•Œ๊ณ ๋ฆฌ์ฆ˜์€ ๊ธฐ์šธ๊ธฐ์— ํ•™์Šต๋ฅ ๋˜๋Š” ๋ณดํญ์˜ ์Šค์นผ๋ผ๋ฅผ ๊ณฑํ•ด ๊ฐ’์˜ ๋‹ค์Œ์ง€์ ์„ ๊ฒฐ์ •ํ•œ๋‹ค. :Local Minimum ์— ํšจ์œจ์ ์œผ๋กœ ๋„๋‹ฌ ํ•  ์ˆ˜ ์žˆ๋„๋ก, ๋„ˆ๋ฌด ํฌ์ง€๋„ ์ž‘์ง€๋„ ์•Š์€ ์ ์ ˆํ•œ ๊ฐ’ ( lr ) ์„ ๊ฒฐ์ • ํ•ด์•ผ ํ•จ. ์‚ฌ์šฉ ๋œ ํ•™์Šต๋ฅ ์ด ํšจ์œจ์ ์ธ์ง€, ์ ์ ˆํ•œ์ง€๋Š” ๋‹ค์Œ์˜ ๊ทธ๋ฆผ์„ ํ†ตํ•ด์„œ ์•Œ ์ˆ˜ ์žˆ๋‹ค. low learning rate : ์†์‹ค ๊ฐ์†Œ๊ฐ€ ์„ ํ˜•์˜ ํ˜•ํƒœ๋ฅผ ๋ณด์ด๋ฉฐ ์ฒœ์ฒœํžˆ ํ•™์Šต ๋จ -> ๋„ˆ๋ฌด ๋Š๋ ค์„œ ์ž‘์—…์ด ์™„๋ฃŒ๋˜์ง€ ์•Š์„ ๊ฐ€๋Šฅ์„ฑ์ด ์žˆ์Œ. high leaning rate : ์†์‹ค ๊ฐ์†Œ๊ฐ€ ์ง€์ˆ˜์ ์ธ ํ˜•ํƒœ๋ฅผ ๋ณด์ด๋ฉฐ ๋น ๋ฅธ ํ•™์Šต์ด๊ฑฐ๋‚˜ ์™„์ „ ์ •์ฒด -> ํŠน์ • ๊ฐ’์— ์ˆ˜๋ ดํ•˜์ง€ ์•Š๊ณ  ๋ฐœ์‚ฐ ํ•  ๊ฐ€๋Šฅ์„ฑ์ด ํผ very high leaning rate : ๋งค์šฐ ๋†’..

AI 2020.10.29

์™œ Flutter ์ธ๊ฐ€ ?

๋ง‰์—ฐํ•˜๊ฒŒ ๊ฐœ๋ฐœ ์–ธ์–ด๋ฅผ ๋ฐฐ์šฐ๋Š” ๊ฒƒ์ด ์–ผ๋งˆ๋‚˜ ์žฌ๋ฏธ์—†๋Š”์ง€ ๊ฒฝํ—˜์„ ํ†ตํ•ด ์ถฉ๋ถ„ํžˆ ๊ฒช์€ ๋ฐ” ์žˆ๋‹ค. ๊ทธ๋ž˜์„œ Flutter ๋ฅผ ์‹œ์ž‘ํ•˜๋ฉด์„œ, ์™œ Flutter ์ธ์ง€, ์™œ ์ด๊ฒƒ์„ ๊ณต๋ถ€ํ•ด์•ผํ•˜๋Š”์ง€์— ๋Œ€ํ•ด์„œ ๋จผ์ € ๊ฐ„๋‹จํ•˜๊ฒŒ ์งš๊ณ  ๋„˜์–ด๊ฐ€๊ณ  ์‹ถ๋‹ค. ๋ฐฐ๊ฒฝ์ด๋ผ ํ•จ์€ ์ฒซ์งธ๋กœ ๊ธฐ์กด Framework ๋“ค์˜ ๊ธฐ๋Šฅ์—์„œ์˜ ๋‹ค๊ฐํ™”์ด๋‹ค. ์ด๋ฏธ ๋งŽ์€ ํ”„๋ ˆ์ž„์›Œํฌ๋“ค์€ ๋Œ€๋ถ€๋ถ„์˜ ๊ธฐ๋Šฅ๋“ค์„ ๋ณด์™„ํ•˜๋ฉฐ ์ž‘์„ฑํ•  ์ˆ˜ ์žˆ๋‹ค .๊ทธ๋ ‡๊ธฐ์— ์ƒˆ๋กœ์šด Native Framework ๋“ค์— ๋Œ€ํ•œ ๊ฒฝ์Ÿ๋ ฅ์ด ๋–จ์–ด์ง„๋‹ค. ๊ทธ๋ ‡๋‹ค๋ฉด ์ค‘์š”ํ•œ ๊ฒƒ์€ ๋ฌด์—‡์ผ๊นŒ ? ๋ฐ”๋กœ ๋น„์šฉ๊ณผ ์‹œ๊ฐ„์ด๋‹ค. ๋‹จ์ ์ธ ์˜ˆ๋กœ ํ•œ ์Šคํƒ€ํŠธ์—…์—์„œ Anroid ์„œ๋น„์Šค์™€ IOS ์„œ๋น„์Šค๋ฅผ ๋‘˜๋‹ค ์ง„ํ–‰ํ•  ๋•Œ ๊ฐ๊ฐ์˜ ๋„ค์ดํ‹ฐ๋ธŒ ๊ฐœ๋ฐœ์ž๋“ค์„ ๊ณ ์šฉํ•˜์—ฌ ์„œ๋น„์Šค๋ฅผ ๊ตฌ์ถ•ํ•˜๋Š” ๊ฒƒ๋ณด๋‹ค. Flutter ๊ฐœ๋ฐœ์ž๋“ค์„ ๊ณ ์šฉํ•˜๋Š” ๊ฒƒ์ด ์•ฝ 40% ์ •๋„ ๋น„์šฉ ์ ˆ๊ฐ์ด ์žˆ..

Develop/Flutter 2020.07.20