5. Gradient Descent Intution

이 카테고리는 Standford Univ. Andrew Ng 교수님의 Machine-Learning 강의를 듣고

개인 복습을 위해 작성한 포스트 입니다. 

---

경사 하강법을 적용시키기 위해   θ1의 매개변수를 사용한 비용함수를 좌표로 찍어보았다. 

단일변수를 위한 우리의 공식은 다음과 같았다. 

 

수렴할때까지 계속 반복:

θ1​ := θ1​−α d/dθ1​ ​J(θ1​)

 

경사 표시인 d/dθ1​​J(θ1​) , θ1 와 상관없이 결국에는 그것의 최소값으로 모이게 된다. 

Regardless of the slope's sign for d/dθ1​​J(θ1​) , θ1 eventually converges to its minimum value.

 

다음 그래프는 기울기에 따름 θ1 값의 변화를 보여준다.

경사가 음수면 θ1 의 값은 증가하고,

경사가 양수면 θ1 의 값은 감소한다.

 

---

참고로, 우리는 경사하강 알고리즘이 합리적인 시간 내에

수렴되도록 매개 변수 alpha제곱을 조정해야 한다. 

 

수렴하지 못하거나 최소값을 얻기 위한 시간이

너무 길면 단계 크기가 잘못되었다는 것을 의미한다.

 

기울기 하강은 고정된 스텝 크기와 어떻게 수렴할까?

수렴의 이면에 있는 직관은 볼록함수의 바닥에 접근할 때 

0에 접근한다는 것이다. 최소한 파생 모델은 항상 이므로 다음을 얻을 수 

있다.