학습목표

• Softmax 층을 써서 모델을 학습시키는 법을 배운다.

핵심키워드

• Softmax
• 손실함수(Loss Function)
  

학습내용

• 학습을 위한 손실함수는 다음과 같습니다.
•  L(\hat{y}, y) = -\displaystyle{\sum_{j=1}^4} y_j \log y_j  L(​y​^​​,y)=−​j=1​∑​4​​y​j​​logy​j​​ 
•  $y=[0,1,0,0]$ 
•  \hat{y} = [0.3, 0.2, 0.1, 0.4]  ​y​^​​=[0.3,0.2,0.1,0.4] 
• 두번째를 제외한 나머지  y_j   y​j​​ 값은  $0$ 이기 때문에  -log(y_2)   −log(y​2​​) 값만 남을 것입니다.
• 즉 이 값을 최소화 하여 클래스2 이 될 확률을 최대화 시키는 것입니다.
• Softmax 와 손실함수를 결합한 역전파의 값은 아래와 같습니다.
•  dz^{[L]} = \hat{y} - y  dz​[L]​​=​y​^​​−y