티스토리 뷰
Coursera week1, Gradient Descent For Liner Regression.
아래 내용을 이해할 수 없었음.
For the specific choice of cost function used in liner regression, there are no local optima other than the global optima.
Note that, while gradient descent can be susceptible to local minima in general, the optimization problem we have posed here for linear regression has only one global, and no other local, optima; thus gradient descent always converges (assuming the learning rate α is not too large) to the global minimum.
Global minima와 Local minima가 뭔지 몰라 이해가 불가능 했는데 class discussion에 설명이 있었음
만약 곡선이 많은 squiggle을 가진다면, 표면에 언덕과 골짜기가 여러개 있다면, minima는 복수일 수 있다. 이 모든 복수들은 local minima이다. local minima 중 가장 낮은 cost function 리턴 값을 가지는 지점이 global minima 이다.
예제는 convex이기 때문에 하나만 가진다는 뜻으로, no local optima other than the global optima 라고 한 것이다.
'머신러닝' 카테고리의 다른 글
Random Forest (0) | 2021.12.29 |
---|---|
Skewed Class (0) | 2021.02.15 |
Batch gradient descent and Stochastic gradient descent (0) | 2021.01.10 |
MSE, cost function (0) | 2021.01.10 |
Categorical Variables (0) | 2021.01.08 |