학습목표

• 경사 검사에 대해서 알 수 있다.

핵심키워드

• 경사 검사(gradient checking)

학습내용

• 속도가 굉장히 느리기 때문에 훈련시에는 절대 사용 하지 않고 디버깅 할때만 사용합니다.
• 알고리즘이 경사 검사에 실패 했다면, 어느 원소 부분에서 실패했는지 찾아봅니다. 특정 부분에서 계속 실패했다면, 그 경사가 계산된 층에서 문제가 생긴것을 확인 할 수 있습니다.
•  $d\theta$ 는  $\theta$  에 대응하는 J의 정규화 항(   ​dm​ ​d​​∑​m​​∥w​[l]​​∥​F​2​​ )도 포함하기 때문에 경사 검사 계산시 같이 포함해야합니다.
• 드롭아웃에서는 무작위로 노드를 삭제하기 때문에 적용하기 쉽지 않습니다. 따라서 통상은 드롭아웃을 끄고 알고리즘이 최소한 드롭아웃 없이 맞는지 확인하고, 다시 드롭아웃을 켭니다.
• 마지막으로 거의 일어나지 않지만 가끔 무작위 초기화를 해도 초기에 경사 검사가 잘 되는 경우입니다. 이때는 훈련을 조금 시킨 다음에 경사 검사를 다시 해보는 방법이 있습니다.