[시즌1].Lecture 09_1 - Neural Network 1: XOR 문제와 학습방법, Backpropagation_XOR 문제 딥러닝으로 풀기

* 이 글은 홍콩과기대 김성훈 교수님의 무료 동영상 강좌 "모두를 위한 머신러닝과 딥러닝 강의"를 보고 요점을 정리한 글 입니다.

XOR 문제 해결방법

---

  과거 사람들이 해결하려고 했던 XOR 문제는 , 가 (0,0)이면 0을, (0,1)이면 1을, (1,0)이면 1을, (1,1)이면 0을 반환하는 문제입니다. 하지만 결국 이런 문제는 1개의 Logistic Regression(논리 회귀) 으로는 해결할 수 없다는 사실이 밝혀지게 되었고 여러개 즉 Multiple Logistic Regression(다중 논리 회귀) 으로는 해결할 수 있다는 것이 밝혀졌습니다. 

  왼쪽의 그림과 같이 입력값 , 를 2개의 다른 Logistic Regression에 넣어서 얻어낸 결과값 , 를 다시 새로운 Logistic Regression에 집어 넣으면 XOR의 결과를 얻어낼 수 있습니다.

  실제로 , , , , , (1,2는 입력값과 직접 연결된 것이고 3은 중간 결과값과 연결된 것)으로 놓은뒤 계산을 해보면 XOR의 결과와 같게 나오게 됩니다.

  앞의 강의에서 배웠듯이 Logistic Regression 여러개를 합치면 Multinomial Classification(다범주 분류)으로 만들 수 있습니다. 이 Multinomial Classification의 식은 계산의 편리성을 위해 행렬식으로 이루어져 있고 옆의 XOR 모델 또한 이 같은 행렬식으로 표현할 수 있습니다. 

  최종적으로 왼쪽 그림에서 가장 아래에 있는 형태의 모델이 완성되게되는데 이 모델을 수식으로 표현하면 아래와 같습니다.

, , , , 

, 

* Summary *

1. XOR문제는 1개의 Logistic Regression(논리 회귀)으로는 해결이 불가능 하고 여러개를 합쳐서 만든 Multinomial Logistic Regression(다중 논리 회귀)으로 해결 가능하다.

2. XOR문제를 해결하는 모델을 수식으로 표현하면 , 이다.