목록Learning questions (27)
questionet
딥러닝에서의 배치 모델의 가중치를 한번 업데이트 시킬 때 사용되는 샘플들의 묶음 딥러닝에서의 에포크 학습의 횟수 예를 들어, 1 총 1000개의 훈련샘플이 있고 배치 사이즈가 20이면 20개 샘플 단위마다 모델의 가중치를 한번씩 업데이트 따라서 총 50번 가중치가 업데이트 된다 2 이제 배치 사이즈는 그대로 두고 에포크를 10으로 하면 가중치 50번 업데이트를 10번 반복 바꿔 말하면, 각 데이터 샘플이 총 10번씩 사용 결과적으로 가중치가 총 500번 업데이트 된다. 3 에포크가 20이고 배치사이즈가 1이면 1000개를 하나의 단위로 보니까 가중치는 총 20번 업데이트 된다. 뭔가 설명이 좀 구리다. 보충이 필요하다 배치와 관련된 문제 배치사이즈가 너무 크면 한번에 처리해야할 양이 많아져서 학습속도가 ..
결국 SGD + Momentum , AdaGrad, RMSProp, Adam 얘네들이 하는 일은 거칠게 말해서 learning rate를 매 단계마다 미세하게 적절하게 조정하는 것 아닌가? SGD + momentum 은 learning rate를 매 단계마다 좀 더 크게 AdaGrad, RMSProp은 learning rate 를 매 단계마다 좀 더 작게 Adam은 learning rate를 매 단계마다 적절하게
tf.Tensor( [[[-4.83280793e-02 -2.15197727e-03 1.11781843e-02 -1.43208727e-02] [ 6.16727024e-03 4.52284105e-02 7.57811219e-03 -2.49007475e-02] [-8.90119001e-03 -2.55328901e-02 -1.62151456e-02 4.17283215e-02] [ 1.46619789e-02 3.59559171e-02 3.64218391e-02 2.84857489e-02] [ 4.29285429e-02 -9.21944529e-03 2.76987664e-02 -1.26652345e-02]] [[-4.83280793e-02 -2.15197727e-03 1.11781843e-02 -1.43208727e-..
SVM loss의 문제는 loss를 0으로 만드는 W값이 유일하지 않을 수 있는 경우가 있어 최적화한 W가 좋은 파라미터인지 알 수 없다는 것이다. 이를 해결하기 위해 weight regularization을 도입한다고 한다. 그런데 weight regularization이 unique한 W 를 결정하는데 무슨 역할을 한다는 건지 잘 이해가 되지 않는다. 결과적으로 train data에 대한 정확도를 낮추고 test data에 대한 일반화를 높이는 과정에서 어느 한쪽에 치우치지 않게 최적화된 W를 구한다고 하는 데 그 W를 어떻게 유일하게 만든다는 것인가?
차원이란 용어의 쓰임새 dim, axis, rank, 변수, feature의 개수 여기저기 막 혼용되어 아직 분명히 머리 속에 정립돼 있진 않다. 일단 지금은 feature의 수라고 두고 접근해보자. 차원의 저주란, 1 차원이 늘어나면 데이터 공간이 커진다 . 2 변수가 늘어나면 분석에 요구되는 데이터 건수도 증가한다. 3 공간을 채울만큼 큰 데이터 수집 없이 적은 데이터로만 돌릴 경우 오버피팅이 발생할 수 있다. 차원 축소란, 차원의 수를 줄이는 것, feature의 수를 줄이는 것. 차원 축소를 통해 차원의 저주를 탈피하고 시각화가 쉬워지는 이점을 얻을 수 있다. 차원 축소 방법엔, 1 feature selection (기준 : 변수에 중첩이 있는지, 중요한 변수가 뭔지, 어떤 변수가 타켓에 영향을 ..
1 학습 방법을 바꿀 때(하이퍼 파라미터 튜닝) 2 교차 검증 (cross validation)이 필요할 경우 * 튜닝해야할 하이퍼 파라미터가 많을 때 사용한다. *검증 셋을 바꿔 여러번 검증해서 그 평균값으로 성능을 정의한다. *평균이 낮더라도 안정적인 결과를 내는 게 더 좋은 모델일 수 있다. 3 학습을 중단하는 시점을 정할 때 (에포크를 몇으로 할 건지 = 훈련셋을 몇번 반복해서 학습할 건지) * 초기에는 에포크가 높을수록 검증셋의 평가결과도 좋다? * 학습이 덜 된 상태(언더피팅 상태)에서는 에포크를 늘려서 학습을 더 시키면 더 좋은 성능을 볼 수 있다. 4 주의사항 * 교차검증은 계산량이 많아서 데이터 수가 많지 않을 때 사용한다. (딥러닝에선 잘 쓰지 않음) * 교차 검증시엔 검증셋을 바꿀 때..