분류 전체보기 (108) 썸네일형 리스트형 5.10 기계 학습 알고리즘 만들기 거의 모든 심층 학습 알고리즘은 비교적 간단한 '조리법'을 필요에 따라 구체적으로 적용한 사례에 해당한다. 비교적 간단한 조리법이라느, 자료 집합의 명세와 비용함수, 최적화 절차, 그리고 모형을 결합한다는 것이다. 한 학습 알고리즘의 각 구성요소를 다른 구성요소들과 거의 독립적으로 교체할 수 있다는 점을 이용하면 아주 다양한 알고리즘을 만들어 낼 수 있다. 5.9 확률적 경사 하강법 거의 모든 심층 학습은 확률적 경사 하강법(stochastic gradient descent, SGD)이라고 하는 아주 중요한 알고리즘의 힘으로 진행된다. 기계 학습에서는, 일반화가 잘 되려면 훈련 집합이 커야 하지만, 훈련 집합이 크면 계산 비용이 커진다는 딜레마에 자주 빠진다. 기계 학습 알고리즘이 사용하는 비용함수를, 어떤 견본별 손실함수의 훈련 견본들에 관한 합으로 분해할 수 있을 때가 많다. SGD에 깔린 통찰은, 기울기가 하나의 기댓값이라는 것이다. 기댓값으로서의 기울기가 적은 수의 표본들을 이용해서 근사적으로 구한 추정값일 수있다. 경사 하강 알고리즘의 각 단계에서는 훈련 집합에서 적은 수의 견본들을 고르게 뽑아서 하나의 미니배치(minibatch)를 만든다. 특히 중요한 것은, 학습 과정에.. 5.8 비지도 학습 알고리즘 비지도 학습 알고리즘들은 그 어떤 지도, 지시도 받지 않고 그냥 '특징'들만 경험해서 뭔가를 배운다. 군집화를 수행할 때 어려운 점 하나는, 군집화가 본질적으로 다루기 힘든 성격의 문제라는 것이다. 특히, 자료의 군집화가 실세계와 얼마나 잘 대응되는지를 측정하는 단일한 기준이 없다. 5.7 지도 학습 알고리즘 대부분의 지도 학습 알고리즘은 확률분포 p(y|x)의 추정에 기초한다. 확률분포를 간단하게 추정하는 방법은, 그냥 분포 p(y|x;θ)들의 한 매개변수적 모임(parametric family)에 대해 최상의 매개변수 벡터 θ를 최대 가능도 추정을 이용해서 구하는 것이다. 선형회귀를 분류 문제로 일반화할 수도 있다. 지도 학습에 대한 가장 영향력 있는 접근 방식 중 하나는 지지 벡터 기계(support vector machine, SVM)이다. 이 모형은 일차함수가 학습을 주도한다는 점에서 로지스틱 회귀와 비슷하지만, 지지 벡터 기계는 확률을 제공하지 않는다. 지지 벡터 기계의 혁신적인 특징 중 하나는 핵 요령(kernel trick)을 사용한다는 것이다. 핵 요령은 여러 가지 기계 학습 알고리즘을 전적으.. 5.6 베이즈 통계학 빈도론자 통계학(frequentist statistics, 또는 빈도주의 통계학)에서는 θ의 한 가지 값을 추정한다. 그리고 그 추정값에 기초해서 모든 예측을 수행한다. 베이즈 통계학(bayesian statistics)의 영역에서는 θ의 모든 값을 고려해서 예측을 수행한다. 자료를 관측하기 전에 우리가 θ에 관해 알고 있는 지식을 사전확률분포(prior probability distribution) p(θ)로 표현한다. 일반적으로 그 어떤 자료도 관측하기 전에는 θ 값의 불확실성이 아주 크기 때문에 상당히 넓은 사전분포를 선택한다. 자료 표본들의 집합이 있을 때, 이 자료가 θ에 대한 우리의 믿음(belief)에 미치는 효과는 자료의 가능도를 다음과 같이 베이즈 법칙에 따라 사전분포와 결합해서 구할 수.. 5.5 최대가능도 추정 주어진 모형에 대해 좋은 추정량이 될 가능성이 있는 구체적인 함수들을 어떤 원리에 따라 유도할 수 있다면 좋을 것. 이런 목적으로 가장 흔히 쓰이는 원리는 최대가능도(maximum likelyhood, ML) 원리이다. 가능도를 최대화하는 것은 모형의 분포를 경험분포와 일치하게 만드는 시도이다. 5.4 추정량, 편향, 분산 ETC searchUser and searchPost https://github.com/wonjongRyu/bookstagram/commit/be88151faa875f4f6e3d920db15942ff2c6e731f follow and unfollow https://github.com/wonjongRyu/bookstagram/commit/5170a567a531fd11a0393562c89949525b6b0b14 editUser and seeUser https://github.com/wonjongRyu/bookstagram/commit/5c2d2189420fb0aee72412ea408b7772b345d669 me, Post https://github.com/wonjongRyu/bookstagram/commit/5a4.. 이전 1 2 3 4 5 6 ··· 14 다음
