questionet

이 페이지는 밑바닥부터 시작하는 딥러닝1권의 내용을 정리한 것이다 살펴볼 대주제 : 손실함수와 수치미분 그리고 편미분 곁들일 소주제 : 몇 가지 질문과 미니 배치 1. 손실함수 들어가며 1. 눈으로 보는 이미지, 귀로 듣는 소리, 언어로 표현되는 문장, 각종 수치들(날씨 정보, 주가 등등) 2. 다양한 형태의 데이터들을 ----> 숫자로 변환 (입력값) 3. 신경망에 데이터(입력값)들을 넣어서 분류 또는 예측 >>>> 딥러닝을 사용해 하는 일들 4. 어떻게 분류, 예측을 할까? 데이터 주도 학습 ( data-driven approach ) 1. 데이터에서 가장 본질적인 특징(feature)을 추출한 다음 ----> 패턴을 학습시키자! 2. 특징을 사람이 선별해서 알려주는 게 아니라 ----> 신경망이 스..

결국 SGD + Momentum , AdaGrad, RMSProp, Adam 얘네들이 하는 일은 거칠게 말해서 learning rate를 매 단계마다 미세하게 적절하게 조정하는 것 아닌가? SGD + momentum 은 learning rate를 매 단계마다 좀 더 크게 AdaGrad, RMSProp은 learning rate 를 매 단계마다 좀 더 작게 Adam은 learning rate를 매 단계마다 적절하게

이 페이지는 다음 강의를 정리한 것이다 www.youtube.com/watch?v=YnQJTfbwBM8&list=PL5-TkQAfAZFbzxjBHtzdVCWE0Zbhomg7r&index=4 Adagrad (adaptive learning rates) SGD의 문제점들을 극복하기 위한 알고리즘 SGD의 문제점 1 zigzag pattern 2 local minimum, saddle point 3 noisy SGD는 파라미터를 갱신하는 방법이 이전 파라미터에서 W에 대해 손실함수를 미분한 값을 뺀 값을 새 파라미터로 쓰는 작업을 반복하는 것이므로 기울어진 방향으로 일정거리만(learning rate만큼) 가겠다는 단순한 방법이다. 이런 SGD를 로스값들로 형성된 공간이 기울기의 정도가 서로 다른 면으로 되어..

tf.Tensor( [[[-4.83280793e-02 -2.15197727e-03 1.11781843e-02 -1.43208727e-02] [ 6.16727024e-03 4.52284105e-02 7.57811219e-03 -2.49007475e-02] [-8.90119001e-03 -2.55328901e-02 -1.62151456e-02 4.17283215e-02] [ 1.46619789e-02 3.59559171e-02 3.64218391e-02 2.84857489e-02] [ 4.29285429e-02 -9.21944529e-03 2.76987664e-02 -1.26652345e-02]] [[-4.83280793e-02 -2.15197727e-03 1.11781843e-02 -1.43208727e-..

SVM loss의 문제는 loss를 0으로 만드는 W값이 유일하지 않을 수 있는 경우가 있어 최적화한 W가 좋은 파라미터인지 알 수 없다는 것이다. 이를 해결하기 위해 weight regularization을 도입한다고 한다. 그런데 weight regularization이 unique한 W 를 결정하는데 무슨 역할을 한다는 건지 잘 이해가 되지 않는다. 결과적으로 train data에 대한 정확도를 낮추고 test data에 대한 일반화를 높이는 과정에서 어느 한쪽에 치우치지 않게 최적화된 W를 구한다고 하는 데 그 W를 어떻게 유일하게 만든다는 것인가?

내가 '사랑' 이라는 단어를 수백 차원으로 벡터화 할 때 얻게 되는 실수의 집합들이 정말로 '사랑'이라는 단어를 "의미"하는 것이라 인정할 순 없다는 사실이 실제 현실에서 사랑이 무엇인지 완벽히 이해할 수 없고 남에게 또한 완벽히 받아들일 수 있게 설명할 수 없다는 사실과 관련이 있을까?