기계 학습의 중심 문제는, 알고리즘이 훈련 자료뿐만 아니라 새로운 입력에 대해서도 잘 작동하게 만드는 것이다.
기계 학습에 쓰이는 전략 중에는 시험 오차의 감소를 주된 목표로 삼아 설계된 것들이 많다.
심지어, 훈련 오차가 증가하는 대가를 치르더라도 시험 오차를 줄이려는 전략들이 많이 있다.
이와 같은 전략들을 통칭해서 정칙화(regularizaton)라고 부른다.
훈련 오차가 아니라 일반화 오차를 줄이기 위해 학습 알고리즘에 가하는 모든 종류의 수정이 정칙화에 해당한다.
추가 제약과 벌점(penalty)들을 잘 선택한다면, 학습 모형의 시험 집합에 대한 성과가 향상될 수 있다.