questionet
weight regularization 본문
SVM loss의 문제는
loss를 0으로 만드는 W값이 유일하지 않을 수 있는 경우가 있어
최적화한 W가 좋은 파라미터인지 알 수 없다는 것이다.
이를 해결하기 위해 weight regularization을 도입한다고 한다.
그런데 weight regularization이 unique한 W 를 결정하는데 무슨 역할을 한다는 건지
잘 이해가 되지 않는다.
결과적으로 train data에 대한 정확도를 낮추고 test data에 대한 일반화를 높이는 과정에서
어느 한쪽에 치우치지 않게 최적화된 W를 구한다고 하는 데
그 W를 어떻게 유일하게 만든다는 것인가?
'Learning questions > 쉽게 이해되지 않는 것들' 카테고리의 다른 글
| normalization, standardization, regularization (0) | 2021.02.02 |
|---|---|
| 부동 소수점 방식이 낳는 문제는 무엇인가? (0) | 2021.01.18 |
| learning rate 와 optimization algorithm의 관계 (0) | 2021.01.17 |
| embedding layer (0) | 2021.01.15 |
| 차원의 저주, 차원 축소 (0) | 2021.01.04 |
Comments