questionet

딥러닝에서의 배치 모델의 가중치를 한번 업데이트 시킬 때 사용되는 샘플들의 묶음 딥러닝에서의 에포크 학습의 횟수 예를 들어, 1 총 1000개의 훈련샘플이 있고 배치 사이즈가 20이면 20개 샘플 단위마다 모델의 가중치를 한번씩 업데이트 따라서 총 50번 가중치가 업데이트 된다 2 이제 배치 사이즈는 그대로 두고 에포크를 10으로 하면 가중치 50번 업데이트를 10번 반복 바꿔 말하면, 각 데이터 샘플이 총 10번씩 사용 결과적으로 가중치가 총 500번 업데이트 된다. 3 에포크가 20이고 배치사이즈가 1이면 1000개를 하나의 단위로 보니까 가중치는 총 20번 업데이트 된다. 뭔가 설명이 좀 구리다. 보충이 필요하다 배치와 관련된 문제 배치사이즈가 너무 크면 한번에 처리해야할 양이 많아져서 학습속도가 ..

이 페이지는 다음 강의 영상을 정리한 것이다. www.youtube.com/watch?v=dB-u77Y5a6A&list=PL5-TkQAfAZFbzxjBHtzdVCWE0Zbhomg7r&index=6 살펴볼 주제 1. computational graph로 backpropagation을 계산했을 때 발견되는 pattern의 의미와 그 쓰임 2. input과 output이 scalar가 아닌 vector 또는 tensor일 때 backpropagation이 진행되는 구체적인 과정 computational graph를 통해 backpropagation 을 계산할 때 미분 값이 역전파 되어가는 데 있어 몇 가지 pattern 을 발견할 수 있다 1. add gate : gradient distributor node..

이 페이지는 밑바닥부터 시작하는 딥러닝1권의 내용을 정리한 것이다 살펴볼 대주제 : 손실함수와 수치미분 그리고 편미분 곁들일 소주제 : 몇 가지 질문과 미니 배치 1. 손실함수 들어가며 1. 눈으로 보는 이미지, 귀로 듣는 소리, 언어로 표현되는 문장, 각종 수치들(날씨 정보, 주가 등등) 2. 다양한 형태의 데이터들을 ----> 숫자로 변환 (입력값) 3. 신경망에 데이터(입력값)들을 넣어서 분류 또는 예측 >>>> 딥러닝을 사용해 하는 일들 4. 어떻게 분류, 예측을 할까? 데이터 주도 학습 ( data-driven approach ) 1. 데이터에서 가장 본질적인 특징(feature)을 추출한 다음 ----> 패턴을 학습시키자! 2. 특징을 사람이 선별해서 알려주는 게 아니라 ----> 신경망이 스..

결국 SGD + Momentum , AdaGrad, RMSProp, Adam 얘네들이 하는 일은 거칠게 말해서 learning rate를 매 단계마다 미세하게 적절하게 조정하는 것 아닌가? SGD + momentum 은 learning rate를 매 단계마다 좀 더 크게 AdaGrad, RMSProp은 learning rate 를 매 단계마다 좀 더 작게 Adam은 learning rate를 매 단계마다 적절하게

이 페이지는 다음 강의를 정리한 것이다 www.youtube.com/watch?v=YnQJTfbwBM8&list=PL5-TkQAfAZFbzxjBHtzdVCWE0Zbhomg7r&index=4 Adagrad (adaptive learning rates) SGD의 문제점들을 극복하기 위한 알고리즘 SGD의 문제점 1 zigzag pattern 2 local minimum, saddle point 3 noisy SGD는 파라미터를 갱신하는 방법이 이전 파라미터에서 W에 대해 손실함수를 미분한 값을 뺀 값을 새 파라미터로 쓰는 작업을 반복하는 것이므로 기울어진 방향으로 일정거리만(learning rate만큼) 가겠다는 단순한 방법이다. 이런 SGD를 로스값들로 형성된 공간이 기울기의 정도가 서로 다른 면으로 되어..

tf.Tensor( [[[-4.83280793e-02 -2.15197727e-03 1.11781843e-02 -1.43208727e-02] [ 6.16727024e-03 4.52284105e-02 7.57811219e-03 -2.49007475e-02] [-8.90119001e-03 -2.55328901e-02 -1.62151456e-02 4.17283215e-02] [ 1.46619789e-02 3.59559171e-02 3.64218391e-02 2.84857489e-02] [ 4.29285429e-02 -9.21944529e-03 2.76987664e-02 -1.26652345e-02]] [[-4.83280793e-02 -2.15197727e-03 1.11781843e-02 -1.43208727e-..