questionet
learning rate 와 optimization algorithm의 관계 본문
Learning questions/쉽게 이해되지 않는 것들
learning rate 와 optimization algorithm의 관계
orthanc 2021. 1. 17. 20:08결국 SGD + Momentum , AdaGrad, RMSProp, Adam 얘네들이 하는 일은
거칠게 말해서 learning rate를 매 단계마다 미세하게 적절하게 조정하는 것 아닌가?
SGD + momentum 은 learning rate를 매 단계마다 좀 더 크게
AdaGrad, RMSProp은 learning rate 를 매 단계마다 좀 더 작게
Adam은 learning rate를 매 단계마다 적절하게
'Learning questions > 쉽게 이해되지 않는 것들' 카테고리의 다른 글
| normalization, standardization, regularization (0) | 2021.02.02 |
|---|---|
| 부동 소수점 방식이 낳는 문제는 무엇인가? (0) | 2021.01.18 |
| embedding layer (0) | 2021.01.15 |
| weight regularization (0) | 2021.01.15 |
| 차원의 저주, 차원 축소 (0) | 2021.01.04 |
Comments