Learning questions/쉽게 이해되지 않는 것들
weight regularization
orthanc
2021. 1. 15. 17:29
SVM loss의 문제는
loss를 0으로 만드는 W값이 유일하지 않을 수 있는 경우가 있어
최적화한 W가 좋은 파라미터인지 알 수 없다는 것이다.
이를 해결하기 위해 weight regularization을 도입한다고 한다.
그런데 weight regularization이 unique한 W 를 결정하는데 무슨 역할을 한다는 건지
잘 이해가 되지 않는다.
결과적으로 train data에 대한 정확도를 낮추고 test data에 대한 일반화를 높이는 과정에서
어느 한쪽에 치우치지 않게 최적화된 W를 구한다고 하는 데
그 W를 어떻게 유일하게 만든다는 것인가?