questionet
normalization, standardization, regularization 본문
Learning questions/쉽게 이해되지 않는 것들
normalization, standardization, regularization
orthanc 2021. 2. 2. 00:55normalization
값의 범위(scale)을 0~1 사이 값으로 바꾸는 것 = scaling
scaling이란 표현도 여기저기서 조금씩 다른 뜻으로 많이 쓰여 헷갈린다
standardization
값의 범위(scale)을 평균이 0, 분산이 1이 되도록 바꾸는 것
정규분포를 표준정규분포로 변환하는 것과 같음
이렇게 하면 무슨 효과를 보는 거지?
regularization
weight를 조정하는데 규제(제약)를 거는 기법
정확히 이해하지 못했다
over fitting 을 막기 위해 사용
normalization, standardization의 공통점
1 학습전에 scaling
2 오버피팅을 방지
어떻게?
3 머신러닝에서 scale이 큰 feature의 영향이 비대해지는 걸 방지
4 딥러닝에서 local minima에 빠질 위험 감소(학습속도향상)
어떻게?
'Learning questions > 쉽게 이해되지 않는 것들' 카테고리의 다른 글
| SGD + Momentum에서 velocity vector는 어떻게 구하는 거지? (0) | 2021.02.25 |
|---|---|
| 제곱 손실함수, 절대값 손실함수 (0) | 2021.02.02 |
| 부동 소수점 방식이 낳는 문제는 무엇인가? (0) | 2021.01.18 |
| learning rate 와 optimization algorithm의 관계 (0) | 2021.01.17 |
| embedding layer (0) | 2021.01.15 |
Comments