학습목표

• 모델의 성능을 향상시키는 방법을 알아본다.
  

핵심키워드

• 회피 가능 편향 (avoidable bias)
• 분산 (variance)
• 직교화 (orthogonalization)
  

중간중간 검은 화면이 존재합니다. 정상적인 것이니 당황하시지 말길 바랍니다.

학습내용

• 지도 학습 알고리즘이 잘 작동할 수 있도록 한다는 것은 아래의 두 과정을 거칩니다.

• 첫째, 훈련세트에 잘 들어 맞아야합니다. 즉, 회피 가능 편향을 줄이는 것입니다.
• 둘째, 개발 및 시험 세트에서도 좋은 성능을 내도록 일반화합니다. 즉, 분산이 낮아야합니다.
• 직교화를 떠올려 보시면, 몇가지 방법으로 회피 가능 편향과 분산을 각각 줄일 수 있습니다.
• 회피 가능 편향:
  1. 더 큰 모델로 훈련시킵니다.
  2. 훈련을 더 오래 시키거나 더 나은 알고리즘으로 최적화를 합니다.
  3. 다른 신경망 구조를 만들거나 최적의 하이퍼파라미터를 찾습니다.
• 분산
  1. 더 많은 데이터를 사용합니다.
  2. 정규화를 진행합니다.
  3. 다른 신경망 구조를 만들거나 최적의 하이퍼파라미터를 찾습니다.