5.1 학습 알고리즘

• 기계 학습 알고리즘은 자료로부터 뭔가를 학습하는 능력을 가진 알고리즘
• 학습(learning)에 대한 간결한 정의가 [Mitchell, 1997]에 나온다.
  • 한 컴퓨터 프로그램이 어떤 과제류 T에 속하는 과제들을 수행하며 그 수행의 성과를 측정한 측도가 P라고 할 때, 만일 어떤 경험 E 때문에 T의 어떤 과제에 대한 성과 측도 P가 개선되었다면, 그 컴퓨터 프로그램은 경험 E로부터 학습한다고 말할 수 있다.  
• 기계 학습 알고리즘들은 학습 과정에서 허용되는 경험의 종류에 따라 크게 비지도 학습과 지도 학습으로 나뉜다. 
  • 비지도 학습 알고리즘은 다수의 특징을 담은 자료 집합을 경험하고, 구조가 가진 유용한 성질들을 배운다. 심층 학습의 맥락에서 학습 알고리즘의 목표는, 주어진 자료 집합을 만들어 낸 생성원에 해당하는 전체 확률분포를 학습하는 것이다.
  • 지도 학습 알고리즘은 역시 다수의 특징을 담은 자료 집합을 경험하나, 이 경우는 자료집합의 각 견본에 이름표(label) 또는 목표(target)가 연관되어 있다.
• 비지도 학습은 한 확률벡터 x의 여러 견본을 관측해서 확률 분포 p(x) 자체 또는 그 분포의 어떤 흥미로운 성질을 배우려 하는 것이다. 
• 지도 학습은 확률벡터 x와 그에 연관된 어떤 값 또는 벡터 y의 여러 견본을 관측해서, x로부터 y를 예측하는 방법을 배우려 한다. 이때 p(y|x)를 추정함으로써 y를 예측한다.
  
  
• Keywords
  • 학습(learning), 견본(example), 특징(feature), 분류(classification), 회귀(regression), 전사(transcription), 번역(translation), 구조적 출력(structured output), 비정상 검출(anomaly detection), 합성과 표본추출(synthesis and sampling), 잡음 제거(denoising), 밀도 추정(density estimation), 확률질량함수 추정(probability mass function estimation), 성과 측도(performance measure), 정확도(accuracy), 오류율(error rate), 로그 확률(log-probability), 시험 자료 집합(test data set), 비지도 학습(unsupervised learning), 지도 학습(supervised learning), 자료 집합(dataset), 자료점(data point), 군집화(clustering), 이름표(label), 목표(target), 준지도 학습(semi-supervised learning), 다중 인스턴스 학습(multi-instance learning), 강화 학습(reinforcement learning), 되먹임 루프(feedback loop), 설계 행렬(design matrix), 선형 회귀(linear regression), 매개변수(parameter), 가중치(weight), 시험 집합(test set), 평균제곱오차(mean square error, MSE), 훈련 집합(training set), 표준 방정식(normal equation), 어파인 함수(affine function), 어파인 변환(affine transformation), 치우침(매개변수, bias), 편향(통계학, bias)