questionet

밑바닥부터 시작하는 딥러닝 2권 80~81쪽 1. 시소러스 자연어처리에서 시소러스(Thesaurus)는 모든 단어에 대한 유의어 집합을 만든 다음, 단어들 간의 네트워크를 구성한 것이다. 이 단어 네트워크를 이용하면 컴퓨터에게 단어의 의미를 가리키게 할 수 있다. 2. WordNet WordNet은 시소러스의 하나로 유의어를 얻거나, 단어네트워크를 이용해 단어 사이의 유사도를 구할 수 있다. WordNet을 사용하려면 NLTK 라이브러리를 사용해야 한다. 이하 설명 참고 링크 github.com/philosucker/coding_practice/blob/master/WordNet.ipynb

RNN에 이어서 questionet.tistory.com/45 이 페이지는 밑바닥부터 시작하는 딥러닝2권과 다음 강의를 정리, 부연한 것이다 www.youtube.com/watch?v=qKgqrdrf224 www.youtube.com/watch?v=dUzLD91Sj-o&list=PL5-TkQAfAZFbzxjBHtzdVCWE0Zbhomg7r&index=12 LSTM과 GRU 구조를 살펴보기 전에 다음 질문에 대한 답을 먼저 살펴보겠다. LSTM은 Vanilla RNN의 기울기 소실 문제를 어떻게 해결했는가? sigmoid나 tanh의 미분값은 0과 1사이에 있기도 하거니와 x가 0에서 멀어질수록 0에 가까워진다 즉 Vanilla RNN의 경우 역전파시 1. 반드시 tanh를 거쳐야만 하고, 2. 모든 계층..

1. 자료구조(Data Structure)란? 1. 데이터에 효율적으로 접근하고 조작하기 위한 데이터의 조직, 관리, 저장구조를 말한다. 2. 일반적으로 원시자료형을 기반으로 하는 배열, 연결리스트, 객체 등을 말한다. 3. 추상자료형의 실제 구현은 대부분 배열, 연결리스트를 기반으로 한다. cf) 자료형(Data Type)이란? : 컴파일러 또는 인터프리터에게 프로그래머가 데이터를 어떻게 사용하는지를 알려주는 일종의 데이터 속성(attribute)이다. ex) 파이썬 언어에서 지원하는 자료형 None, 숫자[정수-불리언, 실수], 집합, 매핑(딕셔너리 복합자료형), 시퀀스[문자열, 튜플, 바이트(불변), 리스트(가변)] 원시자료형(Primitive Data Type)이란? 1. C나 JAVA 같은 성능..

하면 할수록 CV쪽엔 흥미가 떨어진다. 내가 사진을 좋아하지 않아서 그런 걸까 시각을 믿지 않은 지 너무 오래돼서인 걸까 사진이 아니라 영상 쪽을 해볼 수 있었다면 더 즐겼을지도 모르겠다. 그래서인지 Image segmentation 을 하는 게 너무 하기 싫어 억지로 코드를 베끼던 중 작업용으로 쓸 사진들을 찾다가 오래 전에 죽은 키우던 강아지 사진을 열어보게 되었다. 사진을 보자마자 10년도 넘게 보지 않은 사진이었다는 걸 새삼 깨달았다. 동시에 그렇게 오래됐는데도 슬픈 감정이 눈밑까지 단숨에 차올랐다는 게 느껴졌다. blur처리를 하고 나서 이미지를 출력하니 강아지의 모습까지 배경과 함께 흐릿하게 바뀌었다. 온통 뿌옇게 변한 사진을 보자 불안하게 두근거리던 가슴이 조금 진정되었다. 모델을 개선하라는..

실시간으로 생성되는 발화의 경우는 분명 시계열 데이터다. 문장의 의미가 시간순으로만 해석되는 경우에도 시계열 데이터다. 하지만 인간이 쓰고 말한 모든 언어 데이터가 과연 시계열적일까? 첫번째 아이디어 시간에 따른 순서에 구애 받지 않는, 더 나아가면 인과 관계에 종속되지 않는 말하기 또는 쓰기가 있을 수 있다. 어쩌면 이런 종류의 말하기, 쓰기야말로 인간과 구별되지 않는, 어쩌면 인간을 뛰어넘는 AI가 되기 위해 가져야할 능력이라고 할 수 있다. 왜냐하면 우리가 창의적인 생각을 떠올리는 가장 빠르고 쉬운 방법은 기존에 있던 생각들의 순서를 뒤엎고 인과관계를 무시해 새로운 연결, 패턴을 만들어 내는 것이기 때문이다. 두번째 아이디어 어떤 완성된 글 하나를 시계열 데이터가 아니라 일종의 이미지 데이터라고 생..

Q1 : 단어 벡터 사이의 관계를 측정하는 방법이 있을까? 설명 순서 1 코사인 법칙 2 벡터의 norm 3 코사인 유사도 1 코사인 법칙 벡터 a, b가 이루는 각이 θ일 때, 두 벡터의 내적은 각 벡터의 길이(유클리드 거리)와 cosθ를 곱한 것과 같다. 결론을 선취하자면 이때 두 벡터 x, y의 코사인 유사도는 아래와 같다. 즉 두 벡터 사이가 이루는 각도를 두 벡터의 내적과 유클리드 거리로 표현한 것이다. 다른 한편으로 보면 x, y 각 벡터를 정규화한 다음 내적하는 것과 같다 2 벡터의 norm 벡터는 크기와 방향을 가진 양이다. norm은 크기(거리)의 일반화다. 벡터의 크기는 ||x|| 이렇게 표현한다. (cf) 실수의 크기는 |x|, 실수의 절대값이다) 일반화의 방법에 두 가지가 있다. L..

expectation ≠ average (mean) 이론적인 평균값 ≠ 진짜 샘플들의 평균값 1. y = 2x + n (n은 노이즈), y의 평균은 얼마인가? E[y] = E[2x + n] E[y] = E[2x] + E[n] E[n]=0 이라면, y의 평균은 2x 확률변수는 y, n 랜덤성이 없으면 확률변수가 아니다. 그래서 2x는 확률변수가 아니다. 확률변수가 아닌 건 기대값의 의미가 없다. 2. y = (2x + n)**2, y의 평균은 얼마인가? n의 평균이 0이고 분산이 1이면 4x**2 + 4xn + n**2 E[4x**2] + E[4xn] + E[n**2] y의 평균은 4x**2 + 1. 이것이 의미하는 게 무엇일까? y = (2x + n)**2 = 4(x + n/2)**2 y = 4(x + ..

hackerthon 코딩에 혀는 필요 없다.