Deep learning course 4 week 2 - andrew ng
https://www.youtube.com/watch?v=-bvTzZCEOdM&list=PLkDaE6sCZn6Gl29AoE31iwdVwSG-KnDzF&index=12
C4W2L01 Why look at case studies?
์์ฃผ ์ฌ์ฉ๋๋ cnn ์ข
๋ฅ๋ฅผ ๋ณด์ฌ์ฃผ๊ณ ์๋ค.
https://www.youtube.com/watch?v=dZVkygnKh1M&list=PLkDaE6sCZn6Gl29AoE31iwdVwSG-KnDzF&index=13
https://www.youtube.com/watch?v=ZILIbUvp5lk&list=PLkDaE6sCZn6Gl29AoE31iwdVwSG-KnDzF&index=14
residual block ๋ฐ๋ก ๋ค์ ๋จ๊ณ๋ ์ฌ๋ฌ ๋จ๊ณ๋ฅผ ์คํตํ๊ณ ๋๊ฐ์ ์๋ ์๊ณ ๋ฆฌ์ฆ์ด๋ค.
residual block ์ด ์๋ network๋ฅผ plain network๋ผ๊ณ ํ๋ค. resnet์ layer์๊ฐ ์ฆ๊ฐํด๋ training error๊ฐ ์ฆ๊ฐ ํ์ง ์๋๋ค.
https://www.youtube.com/watch?v=RYth6EbBUqM&list=PLkDaE6sCZn6Gl29AoE31iwdVwSG-KnDzF&index=15
a l layer์์ a l+2 ๋ก ์งํํ๋ ๊ณผ์ ์์ ๊ทธ์ฌ์ด์ a l+1์ weights, biased constant๊ฐ 0์ธ๊ฒฝ์ฐ ๋ฐ๋ก a l์ด ๋ฐ๋ก ์ ๋ฌ ๋๋ฏ๋ก ๋ง์ ์์ layers๋ฅผ ๊ฐ์ง network๋ผ๋ ์ฑ๋ฅ์ด ์ ํ ๋์ง ์๋ ๊ฒ ๊ฐ๋ค.ย identity function is easy for residual block to learn
์ค๊ฐ ์ค๊ฐ์ pooling layer๋ฅผ ํตํด depth๊ฐ ์กฐ์ ๋๋ค.
https://www.youtube.com/watch?v=c1RBQzKsDCk&index=16&list=PLkDaE6sCZn6Gl29AoE31iwdVwSG-KnDzF
C4W2L05 Network In Network
๊ทธ๋ฆผ ํ๋จ 6 * 6 * 32 ๊ณผ 1 * 1 * 32 ์ฒ๋ผ ์ฐ์ channel ์๋ ๋ง์ถฐ์ค๋ค. ๊ฐ ๋์ํ๋ ์์์ 1์ ๊ณฑํ๊ณ ์ ๋ถ๋ฅผ ๋ํด ํ๋์ ๊ฐ์ ์ป๋๋ค. ์ฆ ์ฌ๋ฌ channel์ ๋ฐ์ดํฐ๋ฅผ ์์ถํด์ ํ๋์ ๊ฐ์ผ๋ก ๋ง๋ ๋ค. ์ด๋ฐ filter์ ๊ฐฏ์๋ฅผ ์ฌ๋ฟ ๋ง๋ค์๋ ์๋ค. ์ด๋ฐ๊ฒฝ์ฐ 32 channel์ ๋ฐ์ดํฐ๊ฐ filter๊ฐฏ์ ๋งํผ์ channel๋ก ๋ฐ๋๊ฒ ๋๋ค. ์ฆ filter๊ฐ 10๊ฐ๋ฉด 10 channel๋ก ๋ฐ๋๊ฒ ๋๋ค. one by one convolution์ nested network๋ผ๊ณ ํ๊ธฐ๋ ํ๋ค. one by one convolution์ channel์ ๋ณ๊ฒฝ์ ์ ์ฉํ๊ฒ ์ฌ์ฉ๋๋ค. fully connected layer์ ๊ธฐ๋ฅ์ด ๋น์ทํ์ง๋ง ๊ฐ์ง๋ ์๋ค.ย ย
์ฐธ๊ณ ์๋ฃ) one by one convolutionย https://youtu.be/UIojaQy8SFQ
https://stackoverflow.com/a/39367644/3151712
192 ์์ ์ถ์๋์ด์ 32๋ก ๋ง๋ค์๋ ์๊ณ ๊ฐ์ ํฌ๊ธฐ๋ฅผ ์ ์งํ ์๋ ์๋ค.
https://www.youtube.com/watch?v=C86ZXvgpejM&list=PLkDaE6sCZn6Gl29AoE31iwdVwSG-KnDzF&index=17
C4W2L06 Inception Network Motivation
inception module์ ์ด์ฉํ ๋ฐฉ๋ฒ์ ๋ฌธ์ ๋ ๊ณ์ฐ์์
์ ๋ง์ ๋น์ฉ์ด ๋ ๋ค๋ ๊ฒ์ด๋ค.
์ ๊ทธ๋ฆผ์ ์ค๋ช
ํ๋ฉด cell ์ด 28 * 28 * 32 ์ด๋ฏ๋ก ๊ณ์ฐํ์๋ 28 * 28 * 32์ธ๋ฐ ๊ฐ cell์ 5 * 5 ํํฐ์ ๋ณธ๋ ๋ฐ์ดํฐ ํ๋ํ๋์ ๊ณฑ์ ํฉ์ด๋ค. ๊ทธ๋ฐ channel์ด 192๊ฐ ์ด๋ฏ๋ก 5 * 5 * 192๋ฅผ ์ต์ข
์ ์ผ๋ก ๊ณฑํด์ค๋ค.
๊ทธ ํด๊ฒฐ ๋ฐฉ๋ฒ์ one by one convolution์ ์ด์ฉํ๋ ๊ฒ์ด๋ค.
https://www.youtube.com/watch?v=KfV8CJh7hE0&list=PLkDaE6sCZn6Gl29AoE31iwdVwSG-KnDzF&index=18
C4W2L07 Inception Network
inception network๋ ์ฌ๋ฌ๊ฐ์ inception module ๋ก ๊ตฌ์ฑ๋๋ค.
https://www.youtube.com/watch?v=cFFu__mcoIw&list=PLkDaE6sCZn6Gl29AoE31iwdVwSG-KnDzF&index=19
C4W2L08 Using Open Source Implementation
์ด๋ฏธ ๊ฐ๋ฐ๋์ด์๋ ์๊ณ ๋ฆฌ์ฆ , ๋ชจ๋ธ์ ์ด์ฉํ์ฌ ๊ฐ๋ฐํ๋ ๊ณผ์ ์ ๊ฐ๋ตํ ์ค๋ช
https://www.youtube.com/watch?v=FQM13HkEfBk&list=PLkDaE6sCZn6Gl29AoE31iwdVwSG-KnDzF&index=20
C4W2L09 Transfer Learning
์ด๋ฏธ ๋ค๋ฅธ ์ฌ๋์ด trainingํ model์ ์ด์ฉํ๋ ๊ฒ์ transfer๋ผ๊ณ ํ๋ค. ๋๋๋ก framework๋ trainableparameter , freeze ๋ณ์๋ฅผ ํตํด trainingํ layer๋ฅผ ์ค์ ํ ์ ์๋ค. ์ด๋ฅผ ์ด์ฉํด์ ์ ์ฒด๋ฅผ freeze ํด ๋๊ณ ํ์ํ ๋ถ๋ถ๋ง trainingํ ์ ์๋ค. ๋ ์ผ๋ถ๋ฅผ freezeํ๊ณ ๋๋จธ์ง๋ trainingํ ์๋ ์๋ค. ๋ ์ ๋ถ๋ฅผ trainingํ ์๋ ์๋ค. ๊ฐ์ ๊ฒฝ์ฐ์ ๋ฐ๋ผ ์ ํํ๋ค.ย
https://www.youtube.com/watch?v=JI8saFjK84o&list=PLkDaE6sCZn6Gl29AoE31iwdVwSG-KnDzF&index=21
C4W2L10 Data Augmentation
์ฌ๋ฌํํ๋ก ๋ฐ์ดํฐ๋ฅผ ๋ณํํด์ ๋ค์์ ๋ฐ์ดํฐ๋ฅผ ์ป์ด๋ด๋ ๋ฐฉ๋ฒ์ ์ค๋ช
ํ๋ค.
๊ธฐ์กด์ color shifting๋ฐฉ๋ฒ๋ ์๊ณ alex net์ด ๊ฐ๋ฐํ pca color agumentation ๋ฐฉ๋ฒ๋ ์๋ค.
https://www.youtube.com/watch?v=c3zw6KI6dLc&list=PLkDaE6sCZn6Gl29AoE31iwdVwSG-KnDzF&index=22
C4W2L11 State of Computer Vision
๊ทธ๋ฆผ ์๋จ์ ํ์ฌ ์ํ์์์ ๊ฐ ๋ถ์ผ๋ณ ๋ฐ์ดํฐ์ ์ ๋. speech recognition์ด ๋ง์ ๋ฐ์ดํฐ๋ฅผ ๊ฐ์ง๊ณ ์๊ณ object detection ๋ถ์ผ๋ ๋ฐ์ดํฐ๊ฐ ์ ๋ค. ๋ฐ์ดํฐ๊ฐ ์ ์ ๊ฒฝ์ฐ hand engineering ์์
์ด ๋ ํ์ํ๋ค. ์ด๋ฅผ ํตํด ๋ถ์กฑํ ๋ฐ์ดํฐ ๋ถ๋ถ์ ๋ณด์ํ๋ค.
์ฌ๋ฌ๊ฐ์ ๋คํธ์ํฌ๋ฅผ ์ด์ฉ ๊ฐ๊ฐ ์ฒ๋ฆฌํ ๋ค์ ๊ฒฐ๊ณผ๋ฅผ ์ข
ํฉํจ์ผ๋ก์จ ์ฑ๋ฅ์ ๊ฐ์ ํ ์ ์๋ค. ๊ทธ๋ฌ๋ production์์๋ ์์์ ๋ง์ด ํ์๋ก ํ๋ฏ๋ก ์ฌ์ฉํ์ง ์๋๋ค.
ํ๋์ ์ด๋ฏธ์ง๋ฅผ ๋ณํํด์ ์ด 10๊ฐ์ ํฌ๋กญ๋ ์ด๋ฏธ์ง๋ฅผ ์ป๋ ๋ฐฉ๋ฒ์ ์ค๋ช
ํ๋ค. ์ด๋ production์์๋ ์ฌ์ฉํ์ง ์๋๋ค.
data researcher๊ฐ ์๋๊ฒฝ์ฐ ๊ธฐ์กด์ network, model์ ์ด์ฉํ๋ ๊ฒ์ด ๋์์ ์๋ค.ย