목록Learning questions/헷갈리는 것들 (3)
questionet
seq2seq의 encoder, decoder와 GAN의 generator, discriminator
Learning questions/헷갈리는 것들
2021. 2. 25. 11:57
SVM hinge loss와 Relu, Cross-Entropy loss와 Softmax
Learning questions/헷갈리는 것들
2021. 2. 2. 01:04
batch, mini_batch와 epoch
딥러닝에서의 배치 모델의 가중치를 한번 업데이트 시킬 때 사용되는 샘플들의 묶음 딥러닝에서의 에포크 학습의 횟수 예를 들어, 1 총 1000개의 훈련샘플이 있고 배치 사이즈가 20이면 20개 샘플 단위마다 모델의 가중치를 한번씩 업데이트 따라서 총 50번 가중치가 업데이트 된다 2 이제 배치 사이즈는 그대로 두고 에포크를 10으로 하면 가중치 50번 업데이트를 10번 반복 바꿔 말하면, 각 데이터 샘플이 총 10번씩 사용 결과적으로 가중치가 총 500번 업데이트 된다. 3 에포크가 20이고 배치사이즈가 1이면 1000개를 하나의 단위로 보니까 가중치는 총 20번 업데이트 된다. 뭔가 설명이 좀 구리다. 보충이 필요하다 배치와 관련된 문제 배치사이즈가 너무 크면 한번에 처리해야할 양이 많아져서 학습속도가 ..
Learning questions/헷갈리는 것들
2021. 2. 2. 00:48