questionet

제곱손실함수와 절대값 손실함수의 차이 제곱손실함수를 사용할 때 scale이 너무 크면 값이 비정상적으로 커져서 노이즈 데이터가 생성될 수 있다. 노이즈 데이터가 너무 많이 생성될 거 같으면 절대값 손실 함수를 사용한다.

normalization 값의 범위(scale)을 0~1 사이 값으로 바꾸는 것 = scaling scaling이란 표현도 여기저기서 조금씩 다른 뜻으로 많이 쓰여 헷갈린다 standardization 값의 범위(scale)을 평균이 0, 분산이 1이 되도록 바꾸는 것 정규분포를 표준정규분포로 변환하는 것과 같음 이렇게 하면 무슨 효과를 보는 거지? regularization weight를 조정하는데 규제(제약)를 거는 기법 정확히 이해하지 못했다 over fitting 을 막기 위해 사용 normalization, standardization의 공통점 1 학습전에 scaling 2 오버피팅을 방지 어떻게? 3 머신러닝에서 scale이 큰 feature의 영향이 비대해지는 걸 방지 4 딥러닝에서 loca..

결국 SGD + Momentum , AdaGrad, RMSProp, Adam 얘네들이 하는 일은 거칠게 말해서 learning rate를 매 단계마다 미세하게 적절하게 조정하는 것 아닌가? SGD + momentum 은 learning rate를 매 단계마다 좀 더 크게 AdaGrad, RMSProp은 learning rate 를 매 단계마다 좀 더 작게 Adam은 learning rate를 매 단계마다 적절하게

tf.Tensor( [[[-4.83280793e-02 -2.15197727e-03 1.11781843e-02 -1.43208727e-02] [ 6.16727024e-03 4.52284105e-02 7.57811219e-03 -2.49007475e-02] [-8.90119001e-03 -2.55328901e-02 -1.62151456e-02 4.17283215e-02] [ 1.46619789e-02 3.59559171e-02 3.64218391e-02 2.84857489e-02] [ 4.29285429e-02 -9.21944529e-03 2.76987664e-02 -1.26652345e-02]] [[-4.83280793e-02 -2.15197727e-03 1.11781843e-02 -1.43208727e-..

SVM loss의 문제는 loss를 0으로 만드는 W값이 유일하지 않을 수 있는 경우가 있어 최적화한 W가 좋은 파라미터인지 알 수 없다는 것이다. 이를 해결하기 위해 weight regularization을 도입한다고 한다. 그런데 weight regularization이 unique한 W 를 결정하는데 무슨 역할을 한다는 건지 잘 이해가 되지 않는다. 결과적으로 train data에 대한 정확도를 낮추고 test data에 대한 일반화를 높이는 과정에서 어느 한쪽에 치우치지 않게 최적화된 W를 구한다고 하는 데 그 W를 어떻게 유일하게 만든다는 것인가?

차원이란 용어의 쓰임새 dim, axis, rank, 변수, feature의 개수 여기저기 막 혼용되어 아직 분명히 머리 속에 정립돼 있진 않다. 일단 지금은 feature의 수라고 두고 접근해보자. 차원의 저주란, 1 차원이 늘어나면 데이터 공간이 커진다 . 2 변수가 늘어나면 분석에 요구되는 데이터 건수도 증가한다. 3 공간을 채울만큼 큰 데이터 수집 없이 적은 데이터로만 돌릴 경우 오버피팅이 발생할 수 있다. 차원 축소란, 차원의 수를 줄이는 것, feature의 수를 줄이는 것. 차원 축소를 통해 차원의 저주를 탈피하고 시각화가 쉬워지는 이점을 얻을 수 있다. 차원 축소 방법엔, 1 feature selection (기준 : 변수에 중첩이 있는지, 중요한 변수가 뭔지, 어떤 변수가 타켓에 영향을 ..