4. Gradient Descent

이 카테고리는 Standford Univ. Andrew Ng 교수님의 Machine-Learning 강의를 듣고

개인 복습을 위해 작성한 포스트 입니다. 

---

 

우리는 가설함수를 갖고 있고, 이것이 데이터에 얼마나 잘 들어맞는지

측정하는 방법(비용함수 - Cost Function)을 알고 있다.

이제 우리는 가설함수의 매개변수를 측정해야 한다.

 

θ0​와 θ1를 기반으로한 가설함수를 그린다고 생각해라.

(실제 우리는 매개변수 측정을 위해 비용함수를 그래프로 나타난다)

---

우리는 x,y 그 자체를 그리지않고 가설함수의 매개변수 범위와

특정 변수로 나타내지는 비용결과를 그린다.

 

θ0​를 x축에. θ1를 y축에 그리고 비용함수( J(θ0​, θ1) )를 수직인 Z축에 높는다.

그래프 위의 점이 특정 세타변수를 포함한 비용함수의 결과일 것이다. 

 

---

비용 함수가 그래프에서 맨 아래에 있을 때, 즉 비용 함수가 최소값이 될 때 성공했음을 알 수 있다.

빨간색 화살표는 그래프의 최소 점을 나타낸다.

 

이렇게 하는 방법은 비용 함수의 파생 모델(함수에 접선)을 사용하는 것이다.

접선의 기울기는 그 지점에서 파생물이며 우리에게 방향을 제시해 줄 것이다.

가장 가파른 내리막길을 따라 원가함수를 내린다.

각 단계의 크기는 학습 속도라고 하는 매개변수 a에 의해 결정된다.

 

예로, 위 그래프에서 각 '별' 사이의 거리는

우리의 매개변수 a에 의해 결정된 단계를 나타낸다. 

a가 작을수록 스템이 작아지고 a가 클수록 스텝이 커진다.