questionet

https://arxiv.org/pdf/2305.13048.pdf https://www.rwkv.com/ RWKV Language Model RWKV GUI with one-click install and API for v4 v5 v6 Official RWKV pip package for v4 v5 v6 Fast GPU inference server (nvidia/amd/intel) for v4 v5 v6 Fast CPU/cuBLAS/CLBlast inference, int4/int8/fp16/fp32 for v4 v5 Simple training, for any GPU / CPU Latest www.rwkv.com https://wiki.rwkv.com/ RWKV Language Model RWKV L..

LSTM, GRU에 이어서 questionet.tistory.com/37?category=961868 이 페이지는 밑바닥부터 시작하는 딥러닝 2권과 다음 강의를 정리, 부연한 것이다 www.youtube.com/watch?v=JVLY1S0H6AQ www.youtube.com/watch?v=YAgjfMR9R_M&list=PL5-TkQAfAZFbzxjBHtzdVCWE0Zbhomg7r&index=13 1 seq2seq with attention 과 2 image captioning with attention 을 통해 attention의 원리에 대해 이해한 후 3 attention자체에 대해 살펴보자. 1. seq2seq with attention 도착어와 대응관계에 있는 출발어가 뭔지 seq2seq에게 학습시..

이 페이지는 밑바닥부터 시작하는 딥러닝2권과 다음 강의를 정리, 부연한 것이다 www.youtube.com/watch?v=dUzLD91Sj-o&list=PL5-TkQAfAZFbzxjBHtzdVCWE0Zbhomg7r&index=12 www.youtube.com/watch?v=qkb4WoonjeI Feedforward Neural Network 와 Recurrent Neural Network 비교 Feedforward Neural Network에서 Image classification은 sequential data를 다루지 않는다. (입력에서든 출력에서든) 바꿔 말해 개별 이미지들은 한방에 처리된다. (대표적으로 CNN) 그런데 Recurent Neural Network에서는 Image classificat..

밑바닥부터 시작하는 딥러닝 2권 80~81쪽 1. 시소러스 자연어처리에서 시소러스(Thesaurus)는 모든 단어에 대한 유의어 집합을 만든 다음, 단어들 간의 네트워크를 구성한 것이다. 이 단어 네트워크를 이용하면 컴퓨터에게 단어의 의미를 가리키게 할 수 있다. 2. WordNet WordNet은 시소러스의 하나로 유의어를 얻거나, 단어네트워크를 이용해 단어 사이의 유사도를 구할 수 있다. WordNet을 사용하려면 NLTK 라이브러리를 사용해야 한다. 이하 설명 참고 링크 github.com/philosucker/coding_practice/blob/master/WordNet.ipynb

RNN에 이어서 questionet.tistory.com/45 이 페이지는 밑바닥부터 시작하는 딥러닝2권과 다음 강의를 정리, 부연한 것이다 www.youtube.com/watch?v=qKgqrdrf224 www.youtube.com/watch?v=dUzLD91Sj-o&list=PL5-TkQAfAZFbzxjBHtzdVCWE0Zbhomg7r&index=12 LSTM과 GRU 구조를 살펴보기 전에 다음 질문에 대한 답을 먼저 살펴보겠다. LSTM은 Vanilla RNN의 기울기 소실 문제를 어떻게 해결했는가? sigmoid나 tanh의 미분값은 0과 1사이에 있기도 하거니와 x가 0에서 멀어질수록 0에 가까워진다 즉 Vanilla RNN의 경우 역전파시 1. 반드시 tanh를 거쳐야만 하고, 2. 모든 계층..