6.1 심층 순방향 신경망

심층 순방향 신경망(deep forward network)은 다층 퍼셉트론(multilayer perceptron, MLP)이라고 부르기도 한다.

순방향 신경망을 이해하는 한 가지 방법은 선형 모형의 한계를 어떻게 극복할지 고민해 보는 것이다. 

선형 모형에는 모형의 수용력이 선형 함수들로만 국한된다는 명백한 결함이 있다. 

선형 모형을 비선형 함수들로 확장하는 한 방법은, 선형 모형을 x 자체가 아니라 변환된 입력 φ(x)에 적용하는 것이다.  

대부분의 신경망은 활성화 함수라는 비선형 함수를 적용해서 특징들을 서술한다.