목록전체 글 (89)
questionet
StackGAN: Text to Photo-Realistic Image Synthesis With Stacked Generative Adversarial Networks
개발배경 : 기존의 모델들은 주어진 text decription을 기반으로 이미지를 생성해낼 때 description의 내용을 충분히 살리지 못함. stackGAN : 특정 text description에 상응하는 256x256 규격의 이미지를 생성해 낸다. 특징1 : sketch-refinement process를 사용 stage1: 주어진 decription에 기반해 사물의 기초적인 형태와 색상을 sketch하여 저화질 이미지 생성 stage2: stage1의 결과물을 바탕으로 refinement process를 거쳐 고화질의 이미지 생성 특징2: Conditioning Augmentation 기법을 사용 사용 목적 : 생성된 결과물의 다양성과 conditional_GAN 학습의 안정성을 향상시키기 ..
비선형 자료구조 : 그래프(graph)
그래프란? 그래프는 정점 · 꼭지점(vertex)과 간선 · 변(edge)으로 구성된 자료구조를 의미한다. 그래프를 구현하는 방법 그래프를 표현하는 방법에는 인접리스트(adjacency list)와 인접행렬(adjacency matrix)이 있다. 인접리스트로 표현한다는 건 무슨 말일까? 각 노드가 인접한 노드의 리스트를 가지고 있는 구조다. 파이썬에서는 딕셔너리 자료형을 사용하면 출발 노드를 key로 도착노드를 value로 표현할 수 있다. 도착노드는 여러 개가 될 수 있으므로 리스트 형태가 된다. graph = { 1 : [2, 3, 4,], 2 : [5], 3 : [5], 4 : [ ], 5 : [6, 7], 6 : [ ], 7 : [3], } 리스트 구조는 sparse graph에 적합하며 적은 ..
Attention, self-attention, transformer
LSTM, GRU에 이어서 questionet.tistory.com/37?category=961868 이 페이지는 밑바닥부터 시작하는 딥러닝 2권과 다음 강의를 정리, 부연한 것이다 www.youtube.com/watch?v=JVLY1S0H6AQ www.youtube.com/watch?v=YAgjfMR9R_M&list=PL5-TkQAfAZFbzxjBHtzdVCWE0Zbhomg7r&index=13 1 seq2seq with attention 과 2 image captioning with attention 을 통해 attention의 원리에 대해 이해한 후 3 attention자체에 대해 살펴보자. 1. seq2seq with attention 도착어와 대응관계에 있는 출발어가 뭔지 seq2seq에게 학습시..
Recurrent Neural Network (RNN)
이 페이지는 밑바닥부터 시작하는 딥러닝2권과 다음 강의를 정리, 부연한 것이다 www.youtube.com/watch?v=dUzLD91Sj-o&list=PL5-TkQAfAZFbzxjBHtzdVCWE0Zbhomg7r&index=12 www.youtube.com/watch?v=qkb4WoonjeI Feedforward Neural Network 와 Recurrent Neural Network 비교 Feedforward Neural Network에서 Image classification은 sequential data를 다루지 않는다. (입력에서든 출력에서든) 바꿔 말해 개별 이미지들은 한방에 처리된다. (대표적으로 CNN) 그런데 Recurent Neural Network에서는 Image classificat..
James Thurber : "Beautiful things don't ask for attention." The Transformer : "Attention is all you need"
강화학습이란?
이 페이지는 '바닥부터 배우는 강화학습'의 내용을 정리한 것이다. 강화학습이란? : 순차적 의사결정 문제에서 누적보상을 최대화하기 위해 시행착오를 거쳐 행동을 교정하는 학습과정. 순차적 의사결정sequential decision making이란? : 달성해야할 목표를 이루기 위해 거쳐야 하는 단계들이 여러가지가 있는 문제의 경우 각 단계에서 내리게 되는 의사결정과정. 이전 단계에서의 결정에 따른 행동은 상황의 변화를 낳고 변한 상황은 다시 다음 단계에서의 행동에 영향을 준다. 순차적 의사결정과정 문제란? : 목표를 달성하고 난 다음 그 목표에 이르기까지의 행동들을 단계별로 돌이켜 보면 순차적일 수밖에 없다. 바꿔 말해 어떤 목표를 달성하기 위해선 매 단계에서 다음단계로 가기 위한 행동이 순차적으로 이뤄져..