[시즌1].Lecture 06_2 - Softmax Regression_Cost Function 소개

* 이 글은 홍콩과기대 김성훈 교수님의 무료 동영상 강좌 "모두를 위한 머신러닝과 딥러닝 강의"를 보고 요점을 정리한 글 입니다.

Softmax Regression(소프트맥스 회귀)

---

  Logistic Regression(논리 회귀)은 단순히 입력한 결과를 2가지 종류로 분류하는 것이라고 한다면 Softmax Regression(소프트맥스 회귀)은 여러개의 종류로 분류하는 것을 말합니다. Logistic Regression과 Softmax Regression은 기본적인 과정은 비슷하지만 가장 큰 차이점을 말하자면, Logistic Regression은 Hypothesis(가설)에서의 결과를 Sigmoid 함수를 통해 0과 1사이의 값으로 도출시킨 후 분류하고 Softmax Regression에서는 Sigmoid 함수가 아닌 Softmax 함수를 사용하여 여러개의 종류에 대한 확률값을 도출한다는 점 입니다. 물론 각각의 종류에 대한 확률값을 다 더하면 1이 됩니다. 

  이런 Softmax 함수의 공식은 의 형태를 갖습니다. 정리하자면 입력값을 넣은 후 도출된 여러개의 확률들 중에서 가장 큰 값을 갖는 항목으로 분류하는 것을 Softmax Regression이라고 볼 수 있습니다.

Softmax Regression의 Cost Function(소프트맥스 회귀의 비용 함수)

---

  다른 Regression과 같이 Softmax Regression도 Cost Function이 있어야 학습이 가능합니다. Linear Regression(선형 재귀)의 Cost Function은 의 형태였고 Logistic Regression의 Cost Function은 의 형태였습니다. Softmax Regression의 Cost Function에 사용되는 공식은 의 형태이고 이것을 Cross-Entropy 함수라고 부릅니다. Cross-Entropy 함수는 보기에는 새로워 보이지만 실질적으로는 Logistic Regression의 Cost Function내부 공식과 유사하다는 것을 알 수 있습니다. Cross-Entropy 함수는 분류한 값이 실제 값과 유사할 수록 0에 가까워 지고, 실제값과 다르면 다를수록 값이 커지게 됩니다. 위의 형태는 1개의 데이터에 관해서만 적용한 공식이기 때문에 이것을 완전한 Cost Function으로 나타내 보면 일때 의 형태를 만족하게 됩니다.

  물론 Softmax Regression을 사용한 학습에서도 Cost Function의 최소값을 찾기 위해서 Gradient Descent Algorithm을 사용하는데 여기서는 Cost Function의 공식만 바뀔 뿐 전체적인 과정은 일반적인 Logistic Regression이나 Linear Regression과 같습니다.

* Summary *

1. Softmax Regression(소프트맥스 회귀)는 입력값에 대하여 여러개의 범주로 분류를 하는 Regression(회귀)이다.

2. Softmax Regression(소프트맥스 회귀)에서는 Sigmoid 함수 대신 Softmax 함수를 사용하는데 이 함수는 의 형태이다.

3. Softmax Regression(소프트맥스 회귀)의 Cost Function(비용 함수)은 일때 를 만족한다.