전반적인 딥러닝 기법
-
Scheduler전반적인 딥러닝 기법 2021. 8. 13. 18:01
처음 딥러닝을 시작하면 접하는 용어가 바로 learning rate이다. 일반적으로 딥러닝 모델에서 cost function을 최소화하기 위해 gradient descent 방법을 사용한다. Gradient descent algorithm을 사용하게 되면 기울기의 크기가 줄어드는 방향으로 학습이 진행되며 loss값을 줄이는 때, 이때 얼만큼의 step으로 건너뛰는가를 결정하는 것이 바로 leaning rate가 해주는 일이다. 모델 학습 과정에서 적절한 learning rate를 설정하는 것은 매우 중요한데 그 이유는 위 그림으로 설명이 가능하다. 만약 learning rate가 매우 작을 경우 학습이 천천히 이루어지므로 optimal한 minimum에 도달하기 까지 시간이 매우 많이 걸릴 것이다. 하지..
-
-