Stanford CS231n(1/16) - Introduction to CS231
Stanford CS231n์ AI๋ฅผ ๊ณต๋ถํ๋ ์ฐ๊ตฌ์, ์์ง๋์ด๋ผ๋ฉด ํ๋ฒ์ฏค ๊ฑฐ์ณ๊ฐ ๋ฒํ ์ด๋ฆ์๋ ๊ฐ์์ ๋๋ค. ํ์๋ ๋ค์ ๋ฆ์์ง๋ง (์ด์ฉ๋ฉด ๋ง์ด ๋ฆ์์ง๋ง) ์ด ๊ฐ์๋ฅผ ์ ์ฃผํํ๋ฉด์ ์ฌ๋ฌ๊ฐ์ง ๋ด์ฉ๋ค์ ์ ๋ฆฌํ๊ณ ํ๊ณ ํ๊ณ ์ ํ๋ ๋ชฉ์ ์ผ๋ก ์ด ํฌ์คํธ ์๋ฆฌ์ฆ๋ฅผ ์์ฑํฉ๋๋ค.
Fei-Fei Liย ๊ต์ ๋ฐย Justin Johnson, Serena Yeungย ๊ฐ์ฌ๋ก ์ด๋ฃจ์ด์ง CS231n 2017 Spring ๊ฐ์๋ฅผ 16 Lectures๊น์ง ๋ฃ๊ณ ์์ฝ ํ๋ ๊ฒ์ด ์๋ฆฌ์ฆ์ ๋๋ถ๋ถ์ ๋๋ค. ๊ทธ ๋ฐ์ ์ฝ๋๋ฅผ ๋ฐ๋จ๋ถํฐ ์ง์ ์ง๋ณด๊ณ ๋ด๊ฐ ์ง ์ฝ๋์ ๊ฒฐ๊ณผ์ ๊ฐ์์ ์๋๊ฐ ์ผ๋ง๋ ๋น์ทํ๊ณ ๋ด๊ฐ ์ ์ดํดํ ๊ฒ์ธ์ง ํ๊ณ ํ๋ ๋ฑ์ ํ๋์ผ๋ก,
์ฐ๋ฆฌ ๋ธ๋ก๊ทธ โPIGNOSE Barnโ(์ฐ๊ตฌ์ฉ ๋ชฉ์ ๋ธ๋ก๊ทธ)์ ๋ง๊ฒ ๋ธ๋ก๊ทธ๋ฅผ ์ฐ์ฌํด๋ณด๊ณ ์ ํฉ๋๋ค. ์ด ํฌ์คํธ์์๋ ๊ฐ๋จํ ์๋ฆฌ์ฆ ์๋์ ๋น๋ก ์ฒซ ํฌ์คํธ์์๋ 1๊ฐ์ ๋ํ ์์ฝ์ ์งํํฉ๋๋ค.
ํฌ์คํธ ์๋ฆฌ์ฆ๋ฅผ ์ค๋นํ๋ฉฐ
Stanford CS231n ํฌ์คํธ ์๋ฆฌ์ฆ๋ ๋ค์์ ์ผ๋ํ๊ณ ๊ตฌ์ฑํฉ๋๋ค.
๋ ์๋ AI ํ๋์ ์ด์ฌ์๋ก ๊ฐ์ ํฉ๋๋ค.
์ต๋ํ ๋ง์ ๋งํฌ๋ค์ ๋ชจ๋ ๋จ์ด์ ํ์ดํผ๋งํฌ๋ก ์ฐ๊ฒฐํด๋ ๊ฒ์ ๋๋ค. ์ฌ๋ฌ๋ถ์ ํด๋ฆญ ํ๋ฒ์ผ๋ก ์์ธํ ์๋ฃ๋ค์ ๋ณผ ์ ์์ต๋๋ค.
๋ชจ๋ ํฌ์คํธ๋ ํ๊ธ๋ก ์์ฑ๋ฉ๋๋ค. ํ์์ ๋ฐ๋ผ ์๋ฌธ์ ์ฒจ๋ถํ์ง๋ง ์ด๋ ๋ฒ์ญ๋ฌธ๋ ๊ฐ์ด ์ฒจ๋ถ๋ฉ๋๋ค.
๋ชจ๋ฅด๋ ๋ด์ฉ์ด ์์ผ๋ฉด ๋๊ธ๋ก ๋ฌ์์ฃผ์ธ์, ๋ ์์ธํ ๋ด์ฉ์ผ๋ก ์ ๋ฐ์ดํธ ํฉ๋๋ค.
๋ํผ๋ฐ์ค
http://cs231n.stanford.edu/slides/2017/cs231n_2017_lecture1.pdf
http://cs231n.stanford.edu/
http://aikorea.org/cs231n/
https://www.youtube.com/watch?v=vT1JzLTH4G4&list=PLC1qU-LWwrF64f4QKQT-Vg5Wr4qEE1Zxk
์ด ์๋ฆฌ์ฆ์์ ์ฃผ๋ก ๋ค๋ฃจ๋ ๊ฒ
์ธ๊ณต ์ ๊ฒฝ๋ง(Neural network) ํํ ๋งํ๋ ๋ฅ๋ฌ๋(Deep learning)
ํนํ ์ปจ๋ณผ๋ฃจ์ ๋ด๋ด๋ท(CNN)
์๋ฆฌ์ฆ ํ๋์ ๋ณด๊ธฐ
Stanford CS231n(1/16) - ํ์ฌ ๋ณด๊ณ ์๋ ํฌ์คํธ
TBD
Lecture 1: Introduction to Convolutional Neural Networks for Visual Recognition
CS231n ์ฝ์ค๊ฐ ๊ฒ์๋ ๋๋ง๋ค ์๊ฐ์ ๋ํ ํญ๋ฐ์ ์ผ๋ก ๋๊ณ ์์ต๋๋ค. (์ ๋ฒ์๋ ์ฝ 300๋ช ์ด์๋ ์๊ฐ์์ด ์ด๋ฒ์๋ 730๋ช ์ ์๊ฐ์์ผ๋ก ํ์ธ๋์๋ค๊ณ ํฉ๋๋ค.) ์ ์ด๋ CS231n์ ๊ทธ๋ฐ ๊ฐ์์ด๊ณ ์ด๋ฒ ํฌ์คํ ์์ ๋ค๋ฃฐ Lecture๋ค์ 2017๋ ๋ด์ ๋ นํ๋ ๋ด์ฉ์ผ๋ก ์ ์ด๋ 2๋ ์ด๋ผ๋ ์๊ฐ์ด ํ๋ ์ต๋๋ค. ๋ค์๋งํด ์ง๊ธ์ ๋ ๋ง์ ๊ฐ๋ฐ์, ๋ฆฌ์์ณ, ์ฌ์ง์ด ๋ค๋ฅธ ๋ฐฐ๊ฒฝ์ ์ํ๋ ์ฌ๋๋ค๋ ํ๊ตฌ์ด์ ๋ถํ์ฌ๋ผ ๋ ๋ง์ ๊ด์ฌ์ ๊ฐ๋ ์์ญ์ด ๋์์ต๋๋ค.
์ค๋๋ ์๋ ์ ๋ง์ ์๊ฐ์ ์ธ ์ด๋ฏธ์ง ๋ฐ์ดํฐ๋ค์ด ๋คํธ์ํฌ๋ฅผ ๋์ด ์น, ๋ชจ๋ฐ์ผ์ ์ ์ก๋๊ณ ์๊ณ . ์ ์คํด ์กด์จ(Justin Johnson)์ด ํฅ๋ฏธ๋ฅผ ๊ฐ์ง๋ ํต๊ณํ์ ์์๋ก๋ 2015๋ CISCO๋ 2017๋ ์ ๋คํธ์์ ๋๋ต 80%์ ํธ๋ํฝ์ด ๋น๋์ค๊ฐ ๋ ๊ฒ์ผ๋ก ์์ํ๊ธฐ๋ ํ์ต๋๋ค. ๋ฐ๋ผ์ ์ด๋ฐ ํ๊ฒฝ์์ ๋๋ถ๋ถ์ ์ ๊ณ์์ ์ด๋ฏธ์ง์ ๋น๋์ค๋ฑ์ ์์์ ์ด๋ฏธ์ง ์ฒ๋ฆฌ๋ ์๋นํ ์์ค์ผ๋ก ์๊ตฌ๋์์ง๋ง ํฅ๋ฏธ๋ก์ด์ ์ ์ด๋ฐ ์๊ฐ์ ๋ฐ์ดํฐ๋ฅผ ์ดํดํ๋ ๊ฒ์ ๊ธฐ์กด์ ์ปดํจํฐ ๊ณผํ์์๋ ๊ทธ๋ ๊ฒ ์ฌ์ด ์ผ์ด ์๋์์ต๋๋ค.
์ปดํจํฐ ๋น์ ์ ํ๊ณ์ ์ ๋ง์ ๋ถ๋ถ๊ณผ ์ฎ์ฌ์๋ ๋ถ์ผ์ ๋๋ค. ์๋ก ๋ค๋ฅธ ์์ญ์์ ์๋ก ์ ๊ทผํ ์ ๋ฐ์ ์์ต๋๋ค. ์ฐ๋ฆฌ ๋ํ ์ด๋ฐ ์ํฉ์์ ํ๊ณ์ ์ฌ๋ฌ ๋ถ์ผ๋ฅผ ์ ๊ทผํ๊ณ ์์ต๋๋ค. ์๋ฅผ ๋ค์ด ๋ฌผ๋ฆฌํ์ ๋ฌผ์ฒด์ ๊ดํ, ๋ฌผ์ฒด์ ํํ๋ฑ์ ์ดํดํ ๋ ํ์ํ๊ณ , ์๋ฌผํ์ด๋ ์ฌ๋ฆฌํ์ ๊ฒฝ์ฐ ๋๋ฌผ์ ๋๋ฅผ ์ดํดํ๊ฑฐ๋ ๋๋ฌผ์ด ์ด๋ป๊ฒ ์ค์ฒด๊ฐ ์๋ ๋ฌผ์ง์ ๋ณด๊ณ ์๊ฐ์ ์ผ๋ก ๊ทธ๋ฅผ ์ดํดํ๋์ง์ ๊ณผ์ ์ ์๊ธฐ ์ํด ์๊ตฌ๋ฉ๋๋ค.ย
์ปดํจํฐ ๋น์ ์ ์ด๋์ ๋ ์ํฅ๋ ฅ์ด ์๋ ์ฐ๊ตฌ ์ค ํ๋์ธ Hubel & Wiesel, 1959์ ์ฐ๊ตฌ์ ๋ฐ๋ฅด๋ฉด, ๋๋ฌผ์ด ์๊ฐ์ ์ธ ์ ๋ณด๋ฅผ ์ด๋ป๊ฒ ์ฒ๋ฆฌํ๋์ง ์ดํดํ๊ธฐ ์ํด, ์ ๊ธฐ ์๋ฆฌํ(electrophysiology)์ ์ฌ์ฉํ์์ต๋๋ค. ์ธ๊ฐ๊ณผ ์ ์ฌํ ๋์ ์๊ฐ ์ฒ๋ฆฌ ๋ฉ์ปค๋์ฆ ๋ถ์์ ์ํด ๊ณ ์์ด์ ๋์ ํ๋ฐฉ์ ์๊ฐ์ ๋ณด๋ฅผ ๊ด์ฅํ๋ ํผ์ง์ ์ ๊ธฐ์ ํธ ๊ฐ์ง ์ฅ์น๋ฅผ ์ฝ์ ํ์๊ณ , ์ด๋ค ์๊ฐ์ ์ธ ์๊ทน์ด ์ด๋ค ์ ๊ธฐ์ ํธ์ ๋ณํ๋ฅผ ์ฃผ๋์ง๋ฅผ ๊ฐ์งํ๊ณ ๋ถ์ํ์์ต๋๋ค. ๊ทธ ์ค ๊ฐ์ฅ ์ค์ํ ์ธํฌ๋ค์ ์ด๋ค ๋ฐฉํฅ์ผ๋ก ์ด๋ํ๋ ๋ฌผ์ฒด์ ๊ฐ์ฅ์๋ฆฌ์ ํจํด์ ๋ฐ์ํ๋ ๊ฐ์ฅ ๋จ์ํ ํํ์ ์ธํฌ๋ค์ด์์ต๋๋ค. ๋ฌผ๋ก ๊ทธ๊ฒ๋ณด๋ค ๋ณต์กํ ์ธํฌ๋ค๋ ์กด์ฌํ๊ฒ ์ง๋ง, ์ฌ๊ธฐ์ ๋ฐ๊ฒฌํ ์ค์ํ ์์ง๋ ์๊ฐ ์ฒ๋ฆฌ๋ ๊ฐ์ฅ์๋ฆฌ์ ํํ์ ๊ฐ์ ๊ฐ์ฅ ์์ ๊ตฌ์กฐ์์ ์์ํ๊ณ ๋๋ ๋ ๋ณต์กํ ํ์ค์ ์๊ฐ ์ ๋ณด๋ฅผ ์ธ์งํ๊ธฐ ๊น์ง ์ด๋ฐ ๊ฐ๋จํ ์ ๋ณด๋ฅผ ๋ณต์กํ๊ฒ ์์ ๋๊ฐ๋ค๋ ๊ฒ์ ๋ฐ๊ฒฌํ ๊ฒ์ ๋๋ค.
1987๋ David Lowe๋ ๋ฉด๋๊ธฐ๋ฅผ ๋จ์ํ ์ ๋ถ๊ณผ ๊ณก์ ์ผ๋ก ์ด๋ฃจ์ด์ง ์ ๋ณด๋ก ๋ถํฐ ๋ฉด๋๊ธฐ๋ฅผ ๊ตฌ๋ถํ ์ ์๋๋ก ์๋ํ์์ต๋๋ค. ์ด๋ฐ์์ผ๋ก 60, 70, 80๋ ๋ ์ปดํจํฐ ๋น์ ์๋ ์ด๋ฐ ๋ฌธ์ ๋ค์ ํ๊ธฐ ์ํ ๋ง์ ๋ ธ๋ ฅ์ด ์์์ต๋๋ค. ๊ทธ๋ฆฌ๊ณ ์์งํ ๋งํ๋ฉด ์ด๋ฐ ๋ฌผ์ฒด๋ฅผ ์ธ์งํ๋ ๊ณผ์ ๋ค์ ๊ต์ฅํ ์ฝ์ง ์์์ต๋๋ค. ์์ ๋ณด์ฌ๋๋ฆฐ ์ด๋ฐ ๋๋ดํ๊ณ ์ผ๋ง์๋ ์ฐ๊ตฌ๋ค์ ๊ทธ ์ฐ๊ตฌ์ ๋นํด์๋ ์ค์ ์ฐ๋ฆฌ๊ฐ ์ฌ๋์ธ๊ณ์ ๋ฌด์ธ๊ฐ๋ฅผ ๋ฐ๊ฟ ์ ์๋ ๋ฑ์ด ์๋ ๋ช ๊ฐ์ง์ ์์๋ ํ ์ด ํ๋ก์ ํธ์ ๊ฒฐ๊ณผ๋ฌผ๋ง์ ๊ฐ๊ฒ ๋์์ต๋๋ค.
์ฌ๋๋ค์ด ์๊ฐํ ๋น์ ์ ์๋ ๋ฌธ์ ๋ค์ ํ๊ธฐ ์ํด ์๋ ํด๋ฒ ์ค ํ๋๋ก ๋ฌผ์๋ ์ค์ํย ์ง๋ฌธ์ โ๋ง์ฝ ๋ฌผ์ฒด ์ธ์์ด ์ด๋ ต๋ค๋ฉด ์ด์ฉ๋ฉด ๋จผ์ ๋ฌผ์ฒด๋ฅผ ์ธ๊ทธ๋จผํ ์ด์ ํด๋ณด๋ ๊ฒ์ ์ด๋จ๊น?โ์์ต๋๋ค.
์ด ๊ณผ์ ๋ ์ด๋ฏธ์ง์ ํฝ์ ์์ ์ค์ํ ์๋ฏธ๋ฅผ ๊ฐ์ง๋ ์์ญ๋ฑ์ ๊ทธ๋ฃน์ผ๋ก ๋ฌถ์ด์ค๋๋ค. ์ฐ๋ฆฌ๋ ์๋ง ์ฌ๋์ด๋ผ ๋ถ๋ฆฌ๋ ๊ทธ๋ฃน์ผ๋ก ํฝ์ ์ ๋ชจ๋ ๋ฌถ์ ์๋ ์๊ฒ ์ง๋ง ๋ฐฐ๊ฒฝ์ผ๋ก ๋ถํฐ ์ฌ๋์ ํฌํจ๋๋ ๋ชจ๋ ํฝ์ ์ ์ถ์ถํ ์๋ ์์ต๋๋ค.
๋ํย โ์ผ๊ตด ์ธ์(Face Detection)โ์ด๋ผ ๋ถ๋ฆฌ๋ ๋ฌธ์ ๊ฐ ์กด์ฌํ์ต๋๋ค. ์ด ๋ฌธ์ ๋ฅผ ํตํด ์์ ๋ง์ ๋ค๋ฅธ ๋ฌธ์ ๋ค์ ์ง๋ณด๋ ์ด๋ฃจ์ด๋์ต๋๋ค. ์ฌ๋์ ์ผ๊ตด์ ์ด์ฉ๋ฉด ์ฌ๋์๊ฒ์ ๊ฐ์ฅ ์ค์ํ ๋ฌผ์ฒด์ผ ๊ฒ์ ๋๋ค. 1999๋ ์์ 2000์ผ๋ก ๊ฑฐ์ฌ๋ฌ ์ฌ๋ผ๊ฐ๋ฉด ๋จธ์ ๋ฌ๋ ๊ธฐ์ ์, ํนํ ํต๊ณ์ ๋จธ์ ๋ฌ๋ ๊ธฐ์ ์ ์๋๊ฐ ๋ถ๊ธฐ ์์ํฉ๋๋ค. Support Vector Machines, Boosting, Graphical models๊ณผ ์ฒซ ์ ๊ฒฝ๋ง(Neural networks)์ ๋ฌผ๊ฒฐ๋ ํฌํจํด์ ๋ง์ ๋๋ค. ์๋ง์ ๊ธฐ์ฌ์๋ฅผ ๋ง๋ค์ด๋ธ ํ๊ฐ์ง ํน๋ณํ ์๋๋ Paul Viola๊ฐ ์๋ํ๋ AdaBoost ์๊ณ ๋ฆฌ์ฆ๋ฅผ ์ฌ์ฉํด ์ค์๊ฐ ์ฌ์ฉ์์ ์ผ๊ตด์ ์ธ์ํ๋ ๊ฒ์ด์์ต๋๋ค. ์ด๋ฐ ์์ ์ 2001๋ ์ ๋๋ฌ์ผ๋ฉฐ ๊ทธ ๋๋ ๊ต์ฅํ ๋๋ฆฐ ์ปดํจํฐ ์นฉ๋ง์ด ์กด์ฌํ์ง๋ง ๊ทธ๋ค์ ์ค์๊ฐ ์ฒ๋ฆฌ ํ๊ฒฝ์์ ์ผ๊ตด ์ธ์์ ํ ์ ์์์ต๋๋ค. ์ด ๋ ผ๋ฌธ์ด ๋์ค๊ณ 5๋ ๋ค์ธ 2006๋ ํ์งํ๋ฆ์ ์ค์๊ฐ ์ผ๊ตด ์ธ์์ด ๊ฐ๋ฅํ ์ฒซ ์นด๋ฉ๋ผ๋ฅผ ์ ๋ณด์์ต๋๋ค. ๊ทธ๋ ๊ฒ ๊ธฐ์กด ๊ณผํ ์ฐ๊ตฌ๋ ์ค ์ธ๊ณ๋ก ๋๋ฌด ๋น ๋ฅด๊ฒ ์ ํ์ด ๋๊ธฐ ์์ํ์ต๋๋ค.
์ด๋ป๊ฒ ๋ฌผ์ฒด ์ธ์์ ํ ์ ์๋์ง ์กฐ๊ธ ๋ ๋ฐ๋ผ๊ฐ ๋ณด์๋ฉด, 90๋ ๋์์ ๋ถํฐ 2000๋ ๋ ์ฒซ 10๋ ๊ฐ์ Feature based ๋ฌผ์ฒด ์ธ์์ด ๊ทธ ๋น์ ๊ฐ์ฅ ์ํฅ๋ ฅ ์๋ ๋ฐฉํฅ์ด์์ต๋๋ค. ์ ๊ทธ๋ฆผ์์ SIFT๋ผ๊ณ ๋ ๋ถ๋ฆฌ๋ David Lowe๊ฐ ์งํํ๋ ๊ณผ์ ๋ฅผ ์ดํด๋ด ์๋ค. Feature based ๋ฌผ์ฒด ์ธ์์ ์์ด๋์ด๋ ๊ฐ๋จํ๊ฒ๋ ์ด๋ฏธ์ง์์ ๋ณด์ด๋ ๋ชจ๋ ๋ฌผ์ฒด๋ฅผ ๋น๊ตํ๊ณ ๋งค์นํ๋ ๊ฒ์ ๋๋ค. ์ ๋๊ฐ์ ์ ์ง ํ์งํ์ ๋น๊ตํ๋ค๊ณ ๊ฐ์ ํ ๋ ์ด๋ฏธ์ง ์ฒ๋ฆฌ์์๋ ์ด ๋ฌธ์ ๊ฐ ๋๋ฌด๋ ์ด๋ ต๋ค๋๊ฒ ๋๊ปด์ง๋๋ค. ์๋ง๋ ์นด๋ฉ๋ผ ๊ฐ๋, ๋ฌผ์ฒด์ ๊ฐ๋ฆผ ์ฌ๋ถ, ๋ฐ๋ผ๋ณด๋ ๋ฐฉํฅ์ด๋, ๊ด์๋ฑ์ ์ํ ๋ฌธ์ ์ผ ๋ฏ ํฉ๋๋ค. ํ์ง๋ง ๊ด์ฐฐํด๋ณด๋ฉด ์ด๋ค ํน์ง(Feature)๋ค์ ๊ณ์ ์ง๋จ์ ์ ์งํ ์ ์๊ณ ๋ณํ์๋ ๋ถ๋ณ์ฑ์ ๋๋ฏ๋ก, ๋ฌผ์ฒด ์ธ์์ ์ด๋ฐ ๋ฌผ์ฒด์์ ์ฃผ์ ํน์ง๋ค์ ํ๋ณํ๊ณ ์ ์ฌํ ๋ฌผ์ฒด์์ ์ด๋ฐ ํน์ง๋ฑ์ ์ฐพ๋ ํ ์คํฌ๋ก ๋์ด๊ฐ๊ฒ ๋ฉ๋๋ค. ์ด๋ฐ ์์ ์ ๋ชจ๋ ๋ฌผ์ฒด์ ํจํด์ ๋งค์นญํ๋ ๊ฒ๋ณด๋ค๋ ํจ์ฌ ๋ฌธ์ ๋ฅผ ์ฝ๊ฒ ๋ง๋ค์ด์ค๋๋ค.
์์ ๋งํ ์๋๋ค์ ์ฌ๋์ ์ธ์ํ๋ ๊ณณ์์๋ ์ฌ์ฉ๋๊ธฐ ์์ํ์ต๋๋ค. ์ด๋ป๊ฒ ์ฌ๋์ ์ ์ฒด๊ฐ ์ฌ์ค์ฒ๋ผ ๊ตฌ์ฑ๋๊ณ ๊ทธ๊ฑธ ํ๋ณํ ์ ์๋์ง์ ๋ํ ์์ ๋ค ์ํ๋์๊ณ , ์ด๋ฐ ์์ ์ค์ ์ผ๋ถ๋ ์์ โHistogram of gradientsโ๋ก ๋ถ๋ฆฌ๊ณ ์๊ณ ๋ค๋ฅธ ์์ ์ย โDeformable part modelsโ๋ผ๊ณ ๋ถ๋ฆฌ๊ณ ์์ต๋๋ค.
60๋ , 70๋ , 80๋ ๋ ๋ถํฐ 2000๋ ์ด์ 10๋ ๊ฐ์ ๋ณํ๋ฅผ ๋ณด๋ฉด ํฌ๊ฒ ๋ณํ ํ๊ฐ์ง๊ฐ ์๋๋ฐ ๊ทธ๊ฑด ๋ฐ๋ก ์ฌ์ง์ ํ์ง์ ๋ณํ์ ๋๋ค. ์ธํฐ๋ท๊ณผ ๋์งํธ ์นด๋ฉ๋ผ์ ๊ฐ์ ๊ณผ ์ฑ์ฅ์ด ๋ ๋์ ๋ฐ์ดํฐ๋ฅผ ์ ๊ณตํ๊ณ ย ์ปดํจํฐ ๋น์ ํ์ต์ผ๋ก ์ฌ์ฉ๋์ด ์์ต๋๋ค. ์ด๋ฐ ๋ณํ๋ก ์ธํด ์ปดํจํฐ ๋น์ ๋ถ์ผ์์๋ ๋งค์ฐ ์ค์ํ ๊ทผ๋ณธ ๋ฌธ์ ํด๊ฒฐ์ ์ํด ๊ฑฐ๋ก ํ๊ธฐ ์์ํ์ต๋๋ค. ์ธ์์์ ํ์ด์ผ ํ๋ ๊ฐ์ฅ ์ค์ํ ๋ฌธ์ ๋ ๋ฐ๋ก ๋ฌผ์ฒด ์ธ์์ ๋๋ค. 2000๋ ๋ ์ด๊ธฐ์ ์ฐ๋ฆฌ๋ ๋ฌผ์ฒด ์ธ์์ ํํฉ์ ์ธก์ ํ ์ ์๋ ๋ฒค์น๋งํฌ ๋ฐ์ดํฐ์ ์ ๋ง๋ค๊ธฐ ์์ํ์ต๋๋ค. ๊ทธ ์ค ๊ฐ์ฅ ์ํฅ๋ ฅ ์๋ ๋ฒค์น๋งํฌ ๋ฐ์ดํฐ ์ ์ค ํ๋์ธ PASCAL Visual Object Challenge๋ 20 ๋ฌผ์ฒด ํด๋์ค๋ฅผ ๊ตฌ์ฑํ๊ณ ์์ต๋๋ค. ๊ทธ ์ค 3๊ฐ์ง๋ ์ ์ด๋ฏธ์ง์์๋ ๋ณด์ฌ์ง๊ณ ์์ต๋๋ค. (Train, Airplane, Person)
๋ ๋์๊ฐ ์ ์ด๋ฏธ์ง์ ๋ํ๋ ์ธ๊ณ์์ ๊ฐ์ฅ ํฐ Visual Regnition Challenge ์ค ํ๋์ธ IMAGENET์ ๋งค๋ ์ด๋ฏธ์ง ์ธ์์ ์๋ฌ์จ์ ๋ณด๋ฉด ๋ณด๋ฉด ๋คํ์ด๋ ์๋ฌ์จ์ด ์ฐฉ์คํ๊ฒ ๋ด๋ ค๊ฐ๊ณ ์๋ ๊ฒ์ ๋ณผ ์ ์์ต๋๋ค. ์ฌ๊ธฐ์์ ์ ์ฌํ ๋ด์ผํ ๋ถ๋ถ์ 2012๋ ์ ๋๋ค. 2010๋ ๊ณผ 2011๋ ์ ์๋ฌ์จ์๋ ๊ทธ๋ ๊ฒ ํฐ ๋ณํ๊ฐ ์์์ง๋ง 2012๋ ์ ๋ณด๋ฉด ์ฝ 9%์ ์๋ฏธ์๋ ์๋ฌ์จ์ ๊ฐ๊ฐ์ ๋ณด์ฌ์ฃผ๊ณ ์์ต๋๋ค. ์ด ๊ธฐ๊ฐ์ ์์ํ๋ ์๊ณ ๋ฆฌ์ฆ์ ์ปจ๋ณผ๋ฃจ์ ์ ๊ฒฝ๋ง ๋ชจ๋ธ(Convoultional Neural network model)์ด์์ต๋๋ค.
CS231n์์๋ ์๊ฐ์ ์ธ์(Visual recognition)๊ณผ ์ด๋ฏธ์ง ๋ถ๋ฅ(Image classification)์ ์ฃผ์ ๋ฌธ์ ๋ค์ ๋ํด ๋ค๋ฃน๋๋ค. ๋ํ ๋ฌผ์ฒด ์ธ์(Object detection), godehd qnsfb(Action classification), ์ด๋ฏธ์ง ๋ช ๋ช ๋ฒ(Image captioning)๊ณผ ๊ฐ์ ์ด๋ฏธ์ง ๋ถ๋ฅ๋ก ๋ถํฐ ์ค๋ ์ธ๋ถ ๋ฌธ์ ์ ๋ํด์๋ ๋ค๋ฃจ๊ฒ ๋ ๊ฒ์ ๋๋ค.
IMAGENET์์ ์ฐ์นํ๋ ๋ช๋ ๊ฐ์ ์๊ณ ๋ฆฌ์ฆ๋ค์ ๋ณด๋ฉด, 2010๋ (๊ฐ์์์๋ 2011๋ ์ผ๋ก ํ์๋ฉ๋๋ค.)์ Lin et al์ด ์ฌ์ฉํ๋ ๋ฐฉ์์ ๋ณผ ์ ์์ต๋๋ค. ์ฌ์ ํ ๊ณ์ธต์ ์ธ ๊ตฌ์ฑ์ ๊ฐ์ง๊ณ ์์ผ๋ฉฐ ๋ค๋์ ๋ ์ด์ด๋ก ์ด๋ฃจ์ด์ ธ ์์ต๋๋ค. ์ฌ๊ธฐ์ ์ ์ ์๋ ๊ฒ์ ์ด ๋ฐฉ์์ ์ฌ์ ํ ๊ณ์ธต์ ์ด๊ณ ๊ฐ์ฅ์๋ฆฌ ๊ฒ์ถ์ด ํ์ํ๋ฉฐ ์ด๋ฏธ์ง์ ๋ถ๋ณ ์์ญ์ ๊ฐ๋ ์ ๊ฐ์ง๊ณ ์์ต๋๋ค.
ํ์ง๋ง 2012๋ ํ ๋ก ํ ์ Jeff Hintonโs ๊ทธ๋ฃน์์๋ Alex Krizhevsky์ Ilya Sutskever๋ ํจ๊ป ์ด๋ฐ ์์๋ค์ ๋ฐ๊พธ๋ ์๋๊ฐ ์์์ต๋๋ค. 7๊ฐ๋ก ๊ตฌ์ฑ ๋ ์ด ์ปจ๋ณผ๋ฃจ์ ์ ๊ฒฝ๋ง์ ์ง๊ธ์ AlexNet์ผ๋ก ์๋ ค์ก์ง๋ง ๋น์์๋ Supervision์ผ๋ก ๋ถ๋ ค์ก์ต๋๋ค. ๊ทธ ๋ค๋ก ๋งค๋ ์ฐ์น์ ์ ๊ฒฝ๋ง์ผ๋ก ์ด๋ฃจ์ด์ ธ ์์ต๋๋ค. ๊ทธ๋ฆฌ๊ณ ํธ๋๋๋ ์ด๋ฐ ์ ๊ฒฝ๋ง์ ๊ตฌ์ฑ์ ๋ ๊น๊ฒ ๋ง๋๋ ๊ฒ์ผ๋ก ๋ณํ์ต๋๋ค. ๋งํ๋ฏ์ด ์ฌ๋ฌ๋ถ์ด ์ธ๋ ๋ฐฉ์์ ๋ฐ๋ผ ๋ค๋ฅผ ์ ์์ง๋ง 7-8๊ฐ์ ๋ ์ด์ด๋ก ๊ตฌ์ฑ๋ AlexNet๊ณผ๋ ๋ค๋ฅด๊ฒ 2014๋ (๊ฐ์์์๋ 2015๋ ์ผ๋ก ์ค๋ช ํจ)์์ ๋์จ ๊ตฌ๊ธ์ GoogLeNet๊ณผ ์ฅ์คํฌ๋์ VGG Net์ ๋ณผ ๋, ๊ทธ๋์ VGG๋ 19๊ฐ์ ๋ ์ด์ด๋ก ๊ตฌ์ฑ๋์ด ์์์ต๋๋ค.
2015๋ ์๋ ๋ ๋ฏธ์ณ๊ฐ๊ธฐ ์์ํฉ๋๋ค. ๋ง์ดํฌ๋ก์ํํธ์ Residual Network์ ๊ฒฝ์ฐ 152๊ฐ์ ๋ ์ด์ด๋ฅผ ๊ตฌ์ฑํ๊ณ ์์์ฃ .
์ฌ๊ธฐ์ ์ ์ ์๋ ๊ฒ์ CNN(์ปจ๋ณผ๋ฃจ์ ์ ๊ฒฝ๋ง)์ ์ ๋ง 2012๋ ๋น์ ์๋ก์ด ๋ฐฉ์์ ๋์ฝ์ด์๊ณ , ๋ง์ ์ต์ ํ์ ํ๋ ๋ฐฉ์๋ค์ ๋ํ ๊ฐ์ ๋ ธ๋ ฅ๋ ์์ด ์์ต๋๋ค. ๊ทธ๋ฆฌ๊ณ ๋ง์ง๋ง์ ์์๋ ์ฐ๋ฆฌ๋ ์ ๋ง ๊น์ด์๊ฒ ๋ฅ๋ฌ๋์ ๋ค์ด์ ์ ํํ ์ด๋ป๊ฒ ๋ชจ๋ธ๋ค์ด ๋ค๋ฅด๊ฒ ๋์ํ๋์ง์ ๋ํด์ ์ดํดํ ์ ์์ ๊ฒ์ ๋๋ค.
CNN์์ ๊ฐ์ฅ ๊ธฐ๋ฐ์ด ๋์๋ ์์ ์ค์ ํ๋์๋ ๊ฑด, ์ฌ์ค์ 90๋ ๋์ ๋น์ Bell Labs์ ์์๋ Jan LeCun๊ณผ ๊ทธ์ ๊ณต๋ ์ฐ๊ตฌ์๋ค์ด์์ต๋๋ค. 1998๋ ํด๋น ์ฐ๊ตฌ์๋ค์ ์ซ์๋ฅผ ๊ตฌ๋ถํ๊ธฐ ์ํ CNN์ ๋ง๋ค ์ด ๋ผ ์ ์์๊ณ , ์ด๊ฒ์ ๋ฐฐํฌํ์ฌ ์๊ธ์จ๋ก ์ฐ์ฌ์ง ์ํ๋ ์ฐ์ฒด๊ตญ์ ์ํ ์ฃผ์๋ฅผ ๊ฐ์งํ ์ ์๊ธฐ๋ฅผ ์ํ์์ต๋๋ค. ์ด CNN ๋ชจ๋ธ์ ์ด๋ฏธ์ง๋ก ๋ถํฐ ๊ฐ์ ธ์จ ํฝ์ ๋ฐ์ดํฐ๋ฅผ ๋ฐํ์ผ๋ก ๋ถ๋ฅ๋ฅผ ํ์ฌ ์ด๋ค ๊ฒ์ด ์ด๋ค ์ซ์๋ก ๋์ด ์๋์ง, ํน์ ๋ฌธ์๋ก ๋์ด ์๋์ง ์๋๋ฉด ๊ทธ ์ด๋ค ๊ฒ๋ ์๋์ง๋ฅผ ๋ถ๋ฅํ ์ ์๋๋ก ํ์์ต๋๋ค. ์ด ๋ชจ๋ธ์ ์์ธํ ๋ค์ฌ๋ค๋ณด๋ฉด ์ฌ์ค AlexNet๊ณผ ์๋นํ ์ ์ฌํ ๊ฒ์ ๋ณผ ์ ์์ต๋๋ค.
์ด๋ค ๋ถ๋ค์ 90๋ ๋๋ถํฐ ์์ด์๋ ์๊ณ ๋ฆฌ์ฆ์ด ์ ๊ฐ์๊ธฐ ์ต๊ทผ์ ์ ๋ช ํด์ง๊ณ ์ฌ์ฉ๋๊ธฐ ์์ํ๋์ง ๊ถ๊ธํ ์๋ ์์ต๋๋ค.
์ฒซ๋ฒ์งธ๋ก๋ ์ฒ๋ฆฌ ๋ฅ๋ ฅ์ผ๋ก ์ธํด์์ ๋๋ค. ๋ฌด์ด์ ๋ฒ์น ๋๋ถ์ ์ค๋๋ ์ ์ปดํจํฐ ๊ณ์ฐ ์ฑ๋ฅ์ ๊ต์ฅํ ํฅ์๋์์ต๋๋ค. ๋ํ ์ค๋๋ ์ ์ฐ๋ฆฌ๋ GPU์ ์ถํ์ ๋ง์ดํ๊ฒ ๋์์ต๋๋ค. GPU๋ ๋ณ๋ ฌ ์ฒ๋ฆฌ ์ฐ์ฐ์ ๋๋ผ์ฐ๋ฆฌ ๋งํผ ํ๋ฅญํ๊ฒ ์ฒ๋ฆฌํ ์ ์๋ ์๋ฒฝํ ๋๊ตฌ์ ๋๋ค. ์ด๋ฐ ์ฒ๋ฆฌ ๋ฅ๋ ฅ์ ๊ฐ์ ๋ค์ด ์ฐ๊ตฌ์๋ก ํ์ฌ๊ธ ๋ ๊ฑฐ๋ํ ์ํคํ ์ฒ ๊ตฌ์ฑ์ ํ ์ ์๋๋ก ๊ธธ์ ์ด์ด์ฃผ์์ต๋๋ค.ย
๋๋ฒ์งธ ํต์ฌ์ผ๋ก๋ ๋ฐ์ดํฐ๊ฐ ์์ต๋๋ค. ์ด๋ฐ ๋ชจ๋ธ๋ค์ ๋ฐ์ดํฐ์ ๊ต์ฅํ ๊ฐ์ฆ์ด ์๊ณ ๊ทธ ๋๋ฌธ์ ์ฐ๋ฆฌ๋ ์ ๋ง์ ๋ผ๋ฒจ๋ง๋ ์ด๋ฏธ์ง๋ฅผ ์ค๋นํด์ผ ํฉ๋๋ค. ๋น์ 90๋ ๋์๋ ์ถฉ๋ถํ ๋ฐ์ดํฐ๊ฐ ์์๊ณ ์๋ง์กด Turk๊ฐ์ ๋๊ตฌ๋ ์์๊ณ ์ธํฐ๋ท๋ ์ง๊ธ ์ฒ๋ผ ์ ๋ง ๋์ค์ ์ผ๋ก ์ฌ์ฉ๋์ง ์์์ต๋๋ค. ๋๋ฌธ์ ๋ค์ํ๊ณ ๋ง์ ์์ ๋ฐ์ดํฐ๋ฅผ ๊ตฌํ๋๊ฒ ์ฝ์ง ์์์ต๋๋ค. ํ์ง๋ง ์ค๋๋ ์๋ PASCAL, ImageNet๊ณผ ๊ฐ์ ๋น๊ต์ ํฐ ๋ฐ์ดํฐ์ ์ด ์์ต๋๋ค.










