5.7 지도 학습 알고리즘

대부분의 지도 학습 알고리즘은 확률분포 p(y|x)의 추정에 기초한다. 

확률분포를 간단하게 추정하는 방법은, 그냥 분포 p(y|x;θ)들의 한 매개변수적 모임(parametric family)에 대해 최상의 매개변수 벡터 θ를 최대 가능도 추정을 이용해서 구하는 것이다. 

선형회귀를 분류 문제로 일반화할 수도 있다.

지도 학습에 대한 가장 영향력 있는 접근 방식 중 하나는 지지 벡터 기계(support vector machine, SVM)이다.

이 모형은 일차함수가 학습을 주도한다는 점에서 로지스틱 회귀와 비슷하지만, 지지 벡터 기계는 확률을 제공하지 않는다. 

지지 벡터 기계의 혁신적인 특징 중 하나는 핵 요령(kernel trick)을 사용한다는 것이다. 

핵 요령은 여러 가지 기계 학습 알고리즘을 전적으로 견본들의 내적(dot product)으로만 표현할 수 있다는 통찰에 기초한다. 

핵 요령은 두 가지 이유에서 강력하다. 

첫째로, 핵 요령을 적용하면 x의 비선형 함수에 해당하는 모형을, 효율적인 수렴이 보장되는 볼록함수 최적화 기법들을 이용해서 학습할 수 있다. 

둘째로, 핵 함수 k를 좀 더 효율적으로 계산할 수 있다.