학습목표

• 로지스틱 회귀의 비용 함수를 구할 수 있다.

핵심키워드

• 손실 함수(Loss Function)
• 비용 함수(Cost Function)

학습내용

• 우리의 목표는 실제값(y)에 가까운 예측값( ​y​^​​ )를 구하는 것입니다.
• 손실 함수는 하나의 입력특성(x)에 대한 실제값(y)과 예측값( ​y​^ ) 의 오차를 계산하는 함수입니다.

• 보통 손실함수는    L(​y​^​​,y)=​2​ ​1​​(​y​^​​−y)​2​​  식을 사용하지만 로지스틱 회귀에서 이러한 손실 함수를 사용하면 지역 최소값에 빠질 수 있기 때문에 사용하지 않습니다. (해당 내용은 향후 다시 나올것이니 걱정하지 않으셔도 됩니다.)

• 로지스틱 회귀에서 사용하는 손실 함수는 다음과 같습니다.

 L(​y​^​​,y)=−(ylog​y​^​​+(1−y)log(1−​y​^​​)) 

• 이 함수를 직관적으로 이해하기 위해 두 가지 경우로 나누어 생각해 볼 수 있습니다.

1) y = 0 인 경우 L(​y​^​​,y)=−log(1−​y​^​​)  가 0에 가까워지도록 ​y​^​​ 는 0에 수렴하게 됩니다.  

2) y = 1 인 경우  L(​y​^​​,y)=−log​y​^​​  가 0에 가까워지도록 ​y​^​​ 는 1에 수렴하게 됩니다.  

• 하나의 입력에 대한 오차를 계산하는 함수를 손실 함수라고 하며, 모든 입력에 대한 오차를 계산하는 함수는 비용 함수라고 합니다.
• 따라서 비용 함수는 모든 입력에 대해 계산한 손실 함수의 평균 값으로 구할 수 있으며 식으로 나타내면 다음과 같습니다.

   J(w,b)=−​m​ ​1​​Σ​i=1​i=m​​(y​(i)​​log​y​^​​​(i)​​+(1−y​(i)​​)log(1−​y​^​​​(i)​​)) 

• 항상 기억해야 할 것은, 우리는 실제값과 비슷한 예측값을 원합니다. 즉, 비용 함수의 값이 작아지도록 하는 w와 b를 찾는게 우리의 목표입니다.