모두를 위한 Deep Leaning 강좌(Sung Kim) 리뷰 06

이 포스트는 유명한 홍콩 과기대 김성훈 교수의 "모두를 위한 딥러닝 강좌 시즌 1" 의 내용 중 Convolution Neural Network 이전

특히, 29강 까지의 내용을 중점적으로 리뷰해 보고자 한다. (리뷰01, 02, 03, 04, 05, ...)

CNN 은 별도의 포스트를 구성할 예정이다.

본 포스트의 내용은 김성훈 교수의 Lecture Note 의 내용 및 Lab File 을 활용했음을 알려둔다.

Sung Kim “모두를 위한 딥러닝 강좌 시즌 1”

  > 강의 동영상 :  https://goo.gl/2cqKLz

  > 강의 웹사이트 : http://hunkim.github.io/ml/

  > Lecture 슬라이드 : https://goo.gl/4373zL

  > Lab 슬라이드 : https://goo.gl/WwCu4U

  > 강의 소스코드 : https://goo.gl/T2fuYi

---

리뷰06 XOR Problem (강좌 Lecture8) / Simple History of Neural Net (강좌 Lecture8) / XOR with Deep Learning (Lecture 9-1)

---

1. XOR Problem

- 두 변수의 Bit 연산에 대해 생각해 보자.

- OR 나 AND 연산을 Logistic Regression 으로 Hyper Plane 을 설정하는 것은 명확하다.

- 그러나 XOR 는 어떤식으로도 가를 수 없다.

즉, Linear Classification 이 아닌 Non-Linear Classification 문제로 변화된다.

OR 나 AND 에 대한 Linear Classification 이 가능하다는데 환호한 사람들은 XOR 에 대해서도 계속 연구를 이어가지만

1969년 Minsky 교수는 이는 가능하지 않다는데 방점을 찍어 버린다.

2. Simple History of Neural Net

- Neural Net 에 대한 착상은 스스로 생각하는 기계에 대한 연구에서 출발한다.

- 인지 능력을 스스로 갖기 위해서 학자들은 인간의 뇌를 연구하다 Neuron 은 특정한 자극에만 반응하는 것을 발견하여 연구를 진전시킨다.

- 인간의 시냅스(synapse) 를 작용을 관찰한 결과 activation function 이라는 개념을 만들어 내고 이를 Neural Net 으로 구체화 한다.

1970년대와 80년대 초반은 Neural Net 연구의 일종의 암흑기 였다. XOR Problem 을 제대로 해결하지도 못하였고,

내놓는 가설들은 무시되기 십상이었다.

이 와중에 Hinton 교수는 Backpropagation 이라는 역전파 알고리즘을 제안한다.

그리고 고양이 시신경망 연구를 통해 특정 빛의 모양이나 방향성, 크기에 대한 수용기가 다르며 복합적인 수용기가 존재한다는데 창안해 Convolutional Nerual Net 이 개념이 등장한다.

하지만 CIFAR 재단의 꾸준한 후원으로 연구를 지속했던 Hinton 교수와 Benjio 교수는 

기존 Neural Net 이라는 개념의 부정적인 이미지를 벗고자 Deep Nets, Deep Learning 이라는 용어를 도입했다.

그리고 초기 변수 세팅 방법의 변경과 복잡도 있는 문제에 대한 Deep Learning 에 기여도를 내세우며 Deep Learning 을 주류로 부활 시켰다.

3. XOR with Deep Learning

- Deep Neural Net 으로 XOR 문제를 풀어보자.

- 3개의 node 를 활용하여 문제를 푼다.

- x1, x2 를 2개의 node 각각에 대해 y1, y2 로 만든 후 이를 다시 합쳐서 3번째 node 에 투입시킨다.

계산을 해 보면, 우리가 원하는 XOR 값을 얻을 수 있다.

첫번재와 두번째 node 는 하나의 Layer 로 결합이 가능하고, Layer 별로 Sigmoid 를 사용했으므로 이를 아래 처럼 간략화 시킬 수 있다.