강의 소개

최적화와 관련된 다양한 Gradient Descent 기법들을 배웁니다.

기존 SGD(Stochastic gradient descent)를 넘어서 최적화(학습)가 더 잘될 수 있도록 하는 다양한 기법들에 대해 알아봅니다.

Further reading

• RAdam github
• AdamP github

강의 영상

강의 타임스탬프

(동영상 우측 하단의 '동영상 목차'를 활용하시면 더욱 편리합니다.)

[00:00:08] Practical Gradient Descent Methods (p.14)

[00:01:20] Batch-size Matters (p.16) 

[00:04:17] Gradient Descent Methods (p.18) 

[00:04:59] Gradient Descent (p.19)

[00:05:54] Momentum (p.20) 

[00:07:25] Nesterov Accelerated Gradient (p.21) 

[00:09:19] Adagrad (p.23) 

[00:11:17] Adadelta (p.24)

[00:13:24] RMSprop (p.25) 

[00:14:30] Adam (p.26) 

강의 자료