Lec 6-1 - Softmax Regression: 기본 개념 소개, Lec 6-2: Softmax classifier 의 cost함수

기존 함수의 단점: return값이 실수 값이 되기 때문에 binary classification에서 가파른 함수가 된다.

=> g(z) 함수(g(z) = 1 / 1+e^-2)가 큰 수를 압축해주어 0과 1 사이의 값으로 바꾸어주어 보완.

---

Softmax 함수의 결과

• 값의 결과가 0~1 사이의 값
• 전체의 sum이 1이다. (각각의 값을 확률로 봄)

 

Cost function: 실제의 값과 hypothesis와 차이가 얼마?

=> Cross-Entropy function으로 확인!

 

 

<Cross-entropy cost function>

0에 가까울수록 ∞에 수렴, 1에 가까울수록 0에 수렴

예측이 틀린 A의 경우 ∞라는 굉장히 큰 값이 나옴

반대로 label이 A인 경우, 위 사진과 반대로 B가 ∞인 결과가 나옴

달라보이지만 위 수식과 아래 수식은 같은 것이다!

Cost function 수식

Gradient descent 알고리즘을 통하여 Loss(Cost) function의 최솟값을 도출한다. 이때 α와 가중치의 미분값의 곱을 통해 구한다.

 

 

 

 

 

출처: https://youtu.be/MFAnsx1y9ZI