Epoch, Batch, and Iteration

source: https://towardsdatascience.com/epoch-vs-iterations-vs-batch-size-4dfb9c7ce9c9

Epoch vs Batch Size vs Iterations

 

Epoch : 전체 데이터 집합이 신경망을 forward하고 backward 한번 씩 하는 것

 

Batch : 데이터 셋의 부분집합. 대개의 경우에 전체 데이터 셋을 한번에 학습시킬 수 없으므로, 데이터 셋을 부분으로 나누어야 한다.  전체가 100개인 데이터를 한번에 5개씩 학습 시키면 batch size는 5이다.

 

Iteration:  1 epoch를 끝내기 위해서 반복되는 batch의 횟수.

 

                전체가 100개인 데이터, batch size가 5이면 Iteration은  20이다.

                전체가 2000개인 데이터, batch size가 500이면 iteration은 4이다.