Early stopping을 사용해야하는 이유는 무엇입니까? 실제로 많이 쓰나요?
얼리 스탑핑이 약간 디버깅 측면에서 좀 그...명확하지 않은 측면이 있어서 얼리 스탑핑을 약간 꺼려한다는 말도 들었었는데 실제로 현업에서 많이 쓰이는지요? 아니면...
(조경현 교수님 답변)
얼리스타핑 얘기를 했었는데요 얼리스타핑이 프렉티스에서는 꼭 씁니다. 꼭 써야되구요. 근데 물론 이제 말씀하신것처럼 얼리스타핑을 하면 디버깅을 하는데 살짝 문제가 될 수 있는게 스톡 케스틱 그라디언트 이게 사실 얼리스타핑만의 문제가 아니라 스톡케스틱 그라디언트 자체의 문젠데요. 아주 하이다이멘션 스페이스에서 어떤 펑션이 주어져있는데 그게 좀 스무스하고 컨티뉴어스하다고 해보죠.
근데 이제 이렇게 다이렉트 레이사이클릭 그래프를 만들어가지고 펑션을 계산을 하는데 중간을 실수를 좀 한거예요.
그래서 어떤 노드하나에서 그라디언트 자코비언 벡션 프로덕하는거를 살짝 틀리게 했다 근데 웃긴거는 어차피 큰 하이다이멘셜 스페이스고 노이지한 옵티마이제이션을 하다보니까 좀 방향이 틀려도 로스펑션이 계속 내려가요. 그거랑 합쳐져 가지고 그래서 로스펑션이 방향은 제대로 안가는대도 조금조금씩 내려가는 상황에서 얼리스타핑을 써서 멈춰버리면은 과연 이게 내가 지금 코드에 버그가 있는건지 없는건지 얘가 잘하고 있는건지 버그가 없었으면 더 잘될지 알기가 힘들죠.
근데 버그같은게 없다고하고 하면은 얼리스타핑 꼭 쓰는게 좋구요. 물론 얼리스타핑은 이제 레글라이제이션 할 수 있는 방법중에 수많은 방법중에 하난데 얼리스타핑은 그냥 무조건 일단 다 쓰고 그 외에 이제 어떤 레귤라이제이션 알고리즘 뭐 드랍바웃이라든지 다양한 알고리즘을 쓸지 말지를 결정하는게...
comment