Learning Rate ( lr , 학습률 )

학습률 ( Learning Rate )

• Gradient Descent
  :경사하강법 알고리즘은 기울기에 학습률또는 보폭의 스칼라를 곱해 값의 다음지점을 결정한다.
  :Local Minimum 에 효율적으로 도달 할 수 있도록, 너무 크지도 작지도 않은 적절한 값 ( lr ) 을 결정 해야 함.

사용 된 학습률이 효율적인지, 적절한지는 다음의 그림을 통해서 알 수 있다.

출처 : https://bioinformaticsandme.tistory.com/130

low learning rate : 손실 감소가 선형의 형태를 보이며 천천히 학습 됨 -> 너무 느려서 작업이 완료되지 않을 가능성이 있음.

high leaning rate : 손실 감소가 지수적인 형태를 보이며 빠른 학습이거나 완전 정체 -> 특정 값에 수렴하지 않고 발산 할 가능성이 큼

very high leaning rate : 매우 높은 학습률은 경우에 따라 손실을 증가시켜 값이 발산하게 된다.

 

Good learning Rate : 적절한 학습 곡선의 형태로 괜찮은 성능을 낸다.