Batch gradient descent and Stochastic gradient descent

 

Batch gradient descent는 전체 example를 한번에 다 통과시킨 후, 그 중에 최적의 값을 찾는다. theta 값이 업데이트 되지 않고 최초의 theta 값으로 전체 example을 계산하고, 그 전체의 평균으로 theta를 업데이트 시킨다.

Batch size = Size of Training Set

 

Stochastic gradient descent는 한 번에 하나씩 example을 통과시킨 후, 점진적으로 최적을 교체한다. 그러므로, theta는 example 갯수 만 큼 업데이트 된다.

Batch size = 1

 

따라서, Stocastic gradient descent가 더 정밀하지만, 속도는 Batch gradient descent가 훨씬 더 빠르다.

 

Mini-Batch Gradient Descent는 Batch gradient descent와 Stochastic gradient descent의 중간이다.

1 < Batch size < Size of Traning Set