5.11 심층 학습의 개발 동기가 된 기존 문제점들

기계 학습이 풀고자 하는 문제 중에는 자료의 차원이 높을 때 특히나 풀기 어려워지는 문제가 많다. 

그런 현상을 차원의 저주(curse of dimensionality)라고 부른다. 

특히 골치 아픈 점은, 변수의 개수가 증가함에 따라 그 변수들의 특정 값들로 이루어진 서로 다른 구성의 개수가 지수적으로 증가한다는 것이다. 

 

기계 학습 알고리즘이 잘 일반화되려면, 알고리즘이 배워야 할 함수의 종류에 관한 사전 믿음(prior belief)들을 알고리즘에 제공할 필요가 있다. 이전에 살펴본 예제들에서는 그러한 사전 믿음들을 모형의 매개변수들에 관한 확률분포의 형태로 명시적으로 지정했다. 

그런 암묵적 사전 믿음 또는 '사전 분포'로 가장 널리 쓰이는 것은 평활성(매끈함) 사전분포(smoothness prior)이다. 

국소 불변성 사전분포(local constancy prior)라고도 부르는 이 사전분포는 함수가 작은 영역 안에서 아주 크게 변해서는 안 된다는 제약을 나타낸다. 

기계 학습의 여러 착안에 깔린 중요한 개념 하나는 다양체(manifold)라는 개념이다.

기계 학습에서 말하는 다양체는 더 높은 차원의 공간에 내장된 ,그러나 그보다 낮은 차원 또는 자유도(degree of freedom)로도 잘 근사할 수 있는 일단의 연결된 점들로 느슨하게 정의된다. 

다양체 학습(manifold learning) 알고리즘들은 n차원 공간의 대부분이 유효하지 않은 입력으로 구성되고 흥미로운 입력들은 일부 점들로 이루어진 몇몇 다양체들에만 존재한다고, 그리고 학습 대상 함수의 출력에서 흥미로운 변동들은 그 다양체에 놓인 방향들에서만 발생하거나 한 다양체에서 다른 다양체로 이동할 때만 발생한다고 가정함으로써 그러한 어려움을 극복한다. 

다양체 가설(manifold hypothesis)을 지지하는 첫 논점은, 실세계에서 볼 수 있는 이미지나 텍스트 문자열, 음향에 관한 확률분포가 실제로 집중되어 있다는 것이다. 

영문자들을 무작위로 고르게 선택해서 문서를 생성한다면, 의미 있는 영어 텍스트가 나올 확률은 0에 가깝다. 

자연어 문장의 분포가 전체 문자열 공간에서 차지하는 부피는 아주 작다.

 두번째 논점은, 다양체 상에서 변환을 적용해서 도달할 수 있는 이웃 견본들이 존재한다는 것이다.

이미지 처리의 경우에는 이미지 공간 안의 한 다양체 안에서 이동하는 데 필요한 다양한 변환을 생각해 낼 수 있다.

예를 들어 전체적인 밝기를 조절해서 이미지를 더 밝게 또는 어둡게 만들거나, 이미지 안에서 물체들을 점진적으로 이동 또는 회전하거나, 물체의 표면 색상을 점진저긍로 변화하는 등의 변환이 가능하다.