확률적 경사 하강법(Stochastic Gradient Descent)에서 확률적(Stochastic)은 무엇을 뜻하나요?

(조경현 교수 답변)
Stochastic하다고 하는게 이제 디터미니스틱하고 스토케스틱이 이제 두개가 양쪽에 있는건데요.
디터미니스틱한거는 계산할때마다 계속 똑같은 값이 나오는거. 그냥 일단 간단하게 그렇게 해놓구요.
스토케스틱 같은 경우에는 뭔가 노이즈나 랜덤 그 배리어블이 어딘가에 중간에 끼어있어서 계산을 할때마다 값이 조금씩 달라지는거죠.
그래서 스토케스틱 그라디언트는 왜 스토케스틱 그라디언트냐.
어...지금 여기서 이제 저희가 그냥 그라디언트를 있는 그대로 계산을 한다고 하면은 모든 트레이닝 이그잼플을 다써서 포워드 컴퓨테이션하고 백프로파게이션을 하고나면 그라디언트가 나오겠죠 걔네를 다 더하고 나면은.
그러면은 이거는 계산을 한번하고 두번하고 세번해도 다 똑같은 디터미니스틱한 케이스인데, 이제 스토케스틱 그라디언트 디센트 같은 경우는 매번 이...아주 조금 트레이닝 이그잼플 중에서 아주 쪼금만 랜덤하게 고른다음에 걔를 이용을 해서 실제 풀그라디언트를 어프록시 메이트하는 거죠.
근데 이 뜻은 뭐냐...매번 계산을 할때마다 어떤 애를 고르냐 어떤 트레이닝 이그잼플을 고르냐가 바뀌기 때문에 값이 조금조금씩 계속 바뀌겠죠. 그래서 지금 이걸 스토케스틱 그라디언트라고 합니다.