5.3 초매개변수와 검증 집합

• 초매개변수는 알고리즘의 행동을 제어하는 데 사용할 수 있는 설정이다. 
• 학습 과정이 초매개변수들의 값을 변화시키지는 않는다. 
• 학습 알고리즘이 학습하지 않는 설정 중 최적화하기 어려운 설정을 초매개변수로 두기도 한다. 
  • 그보다 더 자주 쓰이는 접근 방식은, 훈련 집합으로 학습하기에 적합하지 않은 설정을 초매개변수로 두는 것이다. 
  • 모형의 수용력을 제어하는 모든 초매개변수가 그런 방식에 속한다.
  • 만약 그런 초매개변수를 훈련 집합을 통해 학습한다면 모형은 가능한 최대의 모형 수용력에 해당하는 초매개변수들을 선택하게 되며, 결과적으로 과대적합이 일어난다. 
• 이런 문제를 극복하려면 훈련 알고리즘이 관측하지 않은 견본들로 이루어진 검증 집합(validation set)이 필요하다. 
  • 모형에 관해 뭔가를 선택하고 결정하는 과정에서는 일반화 오차를 추정하는 시험 집합이 사용되지 않는다. 
  • 검증 집합은 항상 훈련 자료에서 뽑은 견본들로 만든다. 
  • 일반적으로 전체 훈련 자료의 약 80%를 훈련에, 나머지 20%를 검증에 사용한다. 
  • 자료 집합을 하나의 고정된 훈련 집합과 하나의 고정된 시험 집합으로 나눌 때, 만일 그 시험 집합이 너무 작으면 문제가 될 수 있다.
  • 시험 집합이 작다는 것은 추정된 평균 시험 오차에 대한 통계적 불확실성이 존재한다는 뜻이며, 그러면 주어진 한 과제에 대해 알고리즘 A가 알고리즘 B보다 더 잘 작동한다고 주장하기 어렵다. 
  • 자료 집합이 수백, 수천 개 이상의 견본들로 이루어질 때는 이런 문제가 심하지 않다. 그러나 자료 집합이 너무 작을 때는 문제가 심해진다.
  • 가장 흔히 쓰이는 방법은 k중 교차 검증(k-fold cross-validation) 방법이다.