Batch (묶음) 10만개 데이터가 있을 때, a. 1개씩 x 10만번 연산 b. 10묶음 (1묶음당 1000개) x 10번 연산 (=epoch) - 묶음 : mini-batch, 1묶음당 데이터 개수 : batch size, 연산 횟수 : epoch b가 더 빠르고, 계산 효율 높음 SGD (Stochastic Gradient Descent : 확률적 경사 하강법) 배치 경사하강법 - 매 스텝마다 전체 훈련 데이터를 반복해서 사용해 gradient를 계산하므로 느리다. 확률적 경사하강법 (SGD, Stochastic Gradient Descent) - 매 스텝(step)에서 딱 1개의 샘플을 무작위로 선택하고 그에 대한 gradient를 계산한다. 매 반복에서 적은 데이터를 처리하므로 속도가 매우 빠..
