학습목표

• 정방향 전파와 역방향 전파의 기본 요소를 심층 신경망에서 어떻게 이용할 수 있는지 알 수 있다.

핵심키워드

• 심층 신경망(Deep Neural Network)
• 정방향 함수(Forward Function)
• 역방향 함수(Backward Function)

학습내용

•  $l$ 번째 층에서 정방향 함수는 이전 층의 활성화 값인   a​[l−1]​​ 을 입력으로 받고, 다음 층으로    a​[l]​​ 값을 출력으로 나오게 합니다. 이때 선형결합된 값인    z​[l]​​ 와 변수    W​[l]​​,b​[l]​​ 값도 캐시로 저장해둡니다.
•  $l$  번째 층에서 역방향 함수는   da​[l]​​ 을 입력으로 받고,   da​[l]​​ 를 출력합니다. 이때 업데이트를 위한    dW​[l]​​ 와   db​[l]​​ 도 함께 출력합니다. 이들을 계산하기 위해서 전방향 함수때 저장해두었던 캐시를 쓰게 됩니다.