목록Learning questions (28)
questionet
normalization 값의 범위(scale)을 0~1 사이 값으로 바꾸는 것 = scaling scaling이란 표현도 여기저기서 조금씩 다른 뜻으로 많이 쓰여 헷갈린다 standardization 값의 범위(scale)을 평균이 0, 분산이 1이 되도록 바꾸는 것 정규분포를 표준정규분포로 변환하는 것과 같음 이렇게 하면 무슨 효과를 보는 거지? regularization weight를 조정하는데 규제(제약)를 거는 기법 정확히 이해하지 못했다 over fitting 을 막기 위해 사용 normalization, standardization의 공통점 1 학습전에 scaling 2 오버피팅을 방지 어떻게? 3 머신러닝에서 scale이 큰 feature의 영향이 비대해지는 걸 방지 4 딥러닝에서 loca..
딥러닝에서의 배치 모델의 가중치를 한번 업데이트 시킬 때 사용되는 샘플들의 묶음 딥러닝에서의 에포크 학습의 횟수 예를 들어, 1 총 1000개의 훈련샘플이 있고 배치 사이즈가 20이면 20개 샘플 단위마다 모델의 가중치를 한번씩 업데이트 따라서 총 50번 가중치가 업데이트 된다 2 이제 배치 사이즈는 그대로 두고 에포크를 10으로 하면 가중치 50번 업데이트를 10번 반복 바꿔 말하면, 각 데이터 샘플이 총 10번씩 사용 결과적으로 가중치가 총 500번 업데이트 된다. 3 에포크가 20이고 배치사이즈가 1이면 1000개를 하나의 단위로 보니까 가중치는 총 20번 업데이트 된다. 뭔가 설명이 좀 구리다. 보충이 필요하다 배치와 관련된 문제 배치사이즈가 너무 크면 한번에 처리해야할 양이 많아져서 학습속도가 ..
결국 SGD + Momentum , AdaGrad, RMSProp, Adam 얘네들이 하는 일은 거칠게 말해서 learning rate를 매 단계마다 미세하게 적절하게 조정하는 것 아닌가? SGD + momentum 은 learning rate를 매 단계마다 좀 더 크게 AdaGrad, RMSProp은 learning rate 를 매 단계마다 좀 더 작게 Adam은 learning rate를 매 단계마다 적절하게
tf.Tensor( [[[-4.83280793e-02 -2.15197727e-03 1.11781843e-02 -1.43208727e-02] [ 6.16727024e-03 4.52284105e-02 7.57811219e-03 -2.49007475e-02] [-8.90119001e-03 -2.55328901e-02 -1.62151456e-02 4.17283215e-02] [ 1.46619789e-02 3.59559171e-02 3.64218391e-02 2.84857489e-02] [ 4.29285429e-02 -9.21944529e-03 2.76987664e-02 -1.26652345e-02]] [[-4.83280793e-02 -2.15197727e-03 1.11781843e-02 -1.43208727e-..
SVM loss의 문제는 loss를 0으로 만드는 W값이 유일하지 않을 수 있는 경우가 있어 최적화한 W가 좋은 파라미터인지 알 수 없다는 것이다. 이를 해결하기 위해 weight regularization을 도입한다고 한다. 그런데 weight regularization이 unique한 W 를 결정하는데 무슨 역할을 한다는 건지 잘 이해가 되지 않는다. 결과적으로 train data에 대한 정확도를 낮추고 test data에 대한 일반화를 높이는 과정에서 어느 한쪽에 치우치지 않게 최적화된 W를 구한다고 하는 데 그 W를 어떻게 유일하게 만든다는 것인가?
차원이란 용어의 쓰임새 dim, axis, rank, 변수, feature의 개수 여기저기 막 혼용되어 아직 분명히 머리 속에 정립돼 있진 않다. 일단 지금은 feature의 수라고 두고 접근해보자. 차원의 저주란, 1 차원이 늘어나면 데이터 공간이 커진다 . 2 변수가 늘어나면 분석에 요구되는 데이터 건수도 증가한다. 3 공간을 채울만큼 큰 데이터 수집 없이 적은 데이터로만 돌릴 경우 오버피팅이 발생할 수 있다. 차원 축소란, 차원의 수를 줄이는 것, feature의 수를 줄이는 것. 차원 축소를 통해 차원의 저주를 탈피하고 시각화가 쉬워지는 이점을 얻을 수 있다. 차원 축소 방법엔, 1 feature selection (기준 : 변수에 중첩이 있는지, 중요한 변수가 뭔지, 어떤 변수가 타켓에 영향을 ..