모두를 위한 Deep Leaning 강좌(Sung Kim) 리뷰 03

이 포스트는 유명한 홍콩 과기대 김성훈 교수의 "모두를 위한 딥러닝 강좌 시즌 1" 의 내용 중 Convolution Neural Network 이전

특히, 29강 까지의 내용을 중점적으로 리뷰해 보고자 한다. (리뷰01, 02, 03, 04, 05, ...)

CNN 은 별도의 포스트를 구성할 예정이다.

본 포스트의 내용은 김성훈 교수의 Lecture Note 의 내용 및 Lab File 을 활용했음을 알려둔다.

Sung Kim “모두를 위한 딥러닝 강좌 시즌 1”

  > 강의 동영상 :  https://goo.gl/2cqKLz

  > 강의 웹사이트 : http://hunkim.github.io/ml/

  > Lecture 슬라이드 : https://goo.gl/4373zL

  > Lab 슬라이드 : https://goo.gl/WwCu4U

  > 강의 소스코드 : https://goo.gl/T2fuYi

---

리뷰03 : Fancy Softmax Implementation (강좌 Lab6-2) / MNIST 예제 (강좌 Lab 7-2)

---

1. Fancy Softmax Implementation

- tensor flow 에서 softmax 함수안에 logits 라는 변수를 대입할 수 있다.

- logits = WX +B 로 정의한다.

- 리뷰02에서 보았던 softmax cost function 이 logits 를 사용하면, softmax_cross_entropy_with_logits() 로 대체할 수 있다.

softmax classification 을 위해선 one-hot encoding 이 필요한데, 우리가 갖고 있는 Y Label Data 를 one-hot encoding 된 Vector 로 변환한 후, 이를 다시 Reshape 해 준다.

2. MNIST 예제

- Deep Learning 에서 너무나 많이 쓰이는 예제이다.

  > http://yann.lecun.com/exdb/mnist/

- 0~9 까지의 숫가 필기 이미지들에 대해, Training 이미지 Set 과 Test 이미지 Set이 있으며, 해당 이미지의 Label Data 로 구성된다.

- LeCun 교수의 홈페이지에서 제공하며, MNIST 예제를 통해 Deep Learning Algorithm 을 검증하는 용도로도 많이 쓰이는 데이터 셋이다.

  

이미지 사이즈는 28 by 28 사이즈이며, 값은 0~255 의 Gray Index 값이 실수로 표현되어 있다.

MNIST Tensorflow 예제에서는 28*28 = 784 로 2D 이미지를 일차원으로 flatten 시키고 Gray Index 값을 2차원에 매핑시켜 2차원 Vector 의 학습 데이터로 구성한다.

단순히 한 계층(Layer) 의 Logistic Regression 으로 디자인 되어, softmax function 을 구현하여 학습 시킨후, Test 한다.