목록전체 글 (87)
questionet
1. Statistic LM, Neural LM, Pre-trained LM 그리고 LLM Foundation Model foundation model 이라는 개념에 대해 들어보셨나요? 통계적 언어모델, 신경망 언어모델을 거쳐 Transfomer 아키텍쳐 등장 이후, 우리는 사전 훈련된 모델을 사용해 downstream task를 수행하는 패러다임을 지나가고 있습니다. 2022년에 발표된 논문 On the Opportunities and Risks of Foundation Models 에서는 지금까지 나온 모든 Pre-trained LM(이하 PLM)들을 foundation model 이라는 개념으로 지칭하며 새로운 패러다임을 제시합니다. 논문의 저자들은 foundation model을 두 가지 특징으로..
안녕하세요 여러분:) LLM Trend Note1 에 오신걸 환영합니다! 최신 트렌드라는 게 따라가자니 어디서부터 시작해야할지 막막하고, 보고 있자니 이 기술이 앞으로도 유효할지 모르겠고, 아마 이 노트에서도 시간을 들여 숙고해볼 만한 가치가 없는 내용이 여러분들께서 노트를 보시게 될 시점엔 많아지게 되는 건 아닐까 저 역시 한편으론 걱정이 되기도 합니다. 이 노트를 작성하기 위해 자료를 수집하는 동안에도 closed source가 open되기도 했고 이런 자료가 있었으면 좋겠다 싶은 것들이 다음 날에 짠 하고 공개되곤 했으니까요. 하지만 다른 한편으로 트렌드란 오랜 시간의 압력으로 굳어져 크게 변할 수 없어 보이는 현상이나 현재까지 이룩한 문명의 힘으로 규정지어진 기술적, 사회적 사실들로부터 생겨나고 ..
PLM + RLHF 학습방식의 등장으로 많은 사람들이 일순간 닭 쫓던 개가 됐다. 그런데 나는 아직까지도 별 감흥이 없다. 문제에 답을 주는 건 쉽다. 답이 없는 문제에 답을 주는 것도 어렵지 않다. 인간이 주는 문제를 모이마냥 받아먹는 한 그건 여전히 닭대가리다. 풀만한 가치가 있는 문제를 만들어 내는 것. 그런건 여전히 책장 속에 꽂혀있다.
P(A, B) = P(A) x P(B) 를 만족하면 A와 B가 독립이다 왜냐면 A와 B가 독립이라면 P(A|B) = P(A) 이다. P(A, B) = P(A|B) P(B) 인데 (이 공식은 조건부 언어모델의 배경 : 동시확률(결합확률)을 조건부확률로 분해할 수 있다는 것과 관련이 있습니다) 이건 P(A|B) = P(A, B) / P(B) 여기서 유도된다. P(A|B) = P(A) 이므로 P(A, B) = P(A|B) P(B) 이건 P(A, B) = P(A) P(B) 과 같다. 위처럼 공식으로만 외우면 직관적인 의미가 잘 와닿지 않습니다. P(A, B) = P(A) x P(B) 를 만족하면 A와 B가 독립이라는 게 정확히 무슨 뜻일까요? 조건부 확률은 왜 P(B|A) = P(A, B) / P(A) 같은 공..
1. "바람도 없는 공중에 수직(垂直)의 파문을 내이며 고요히 떨어지는 오동잎은 누구의 발자취입니까 지리한 장마 끝에 서풍에 몰려가는 무서운 검은 구름의 터진 틈으로, 언뜻언뜻 보이는 푸른 하늘은 누구의 얼굴입니까. 꽃도 없는 깊은 나무에 푸른 이끼를 거쳐서, 옛 탑(塔) 위의 고요한 하늘을 스치는 알 수 없는 향기는 누구의 입김입니까. 근원은 알지도 못할 곳에서 나서 돌뿌리를 울리고, 가늘게 흐르는 작은 시내는 구비구비 누구의 노래입니까. 연꽃 같은 발꿈치로 가이없는 바다를 밟고, 옥 같은 손으로 끝없는 하늘을 만지면서, 떨어지는 해를 곱게 단장하는 저녁놀은 누구의 시(詩)입니까. 타고 남은 재가 다시 기름이 됩니다. 그칠 줄을 모르고 타는 나의 가슴은 누구의 밤을 지키는 약한 등불입니까." 학창시절의..
주피터 노트북 셀에 작성한 코드¶모듈로 바로저장.¶ In [10]: %%writefile rating.py def nothing(): print("nothing") nothing() Overwriting rating.py 주피터 노트북에서 모듈 바로 실행¶ In [11]: %run rating.py nothing 경고 메시지 숨기기 / 보이기¶ In [12]: import warnings warnings.filterwarnings(action='ignore') In [ ]: import warnings warnings.filterwarnings(action='default') 주피터노트북 테마¶ 터미널에서 실행 In [ ]: jt -t oceans16 -T -N -kl -f ..
1. 파이썬 이란¶ 간단하고 배우기 쉬운 프로그래밍 언어입니다. 오픈소스라 무료로 자유롭게 이용할 수 있습니다. 영어와 유사한 문법으로 불편한 컴파일 과정도 없어서 편리합니다. 파이썬 코드는 읽기 쉽고 성능도 뛰어납니다. 파이썬은 과학분야, 특히 기계학습과 데이터 과학 분야에 널리 쓰입니다. 파이썬 자체의 뛰어난 성능에 numpy와 SciPy 같은 수치 계산과 통계 처리를 다루는 탁월한 라이브러리가 더해져 데이터 과학 분야에서 확고한 위치를 차지하고 있습니다. 딥러닝 프레임워크에서도 파이썬을 애용합니다: Caffe, TensorFlow, Chainer, Theano ★ 파이썬은 데이터 과학 분야에 아주 적합한 프로그래밍 언어입니다.¶ In [22]: # 파이썬 버전 확인하기 !python --versio..
어떤 샘플 X들의 집합이 있을 때 X_new = (X - mean) / Std 각 샘플에서 샘플들의 평균을 빼주고 표준편차로 나눠주는 것 = z1 score 정규화 (표준화) X_new = (X - X_min) /( X_max - X_min) 각 샘플에서 최소값을 빼주고 최대값과 최소값의 차이로 나눠주는 것 = min-max scaling or 정규화 X_new = X / ||X| 각 샘플들을 L2 norm으로 나눠주는 것 = L2 norm 정규화 공통점 값이 원래보다 작아진다 표준화의 특징 0 데이터들을 zero-centered 시킨다. (데이터들의 평균이 0, 분산이 1이 되도록한다) 1 데이터들을 특정 값의 범위 내에 분포하게 만들지 않는다. 2 아웃라이어에 영향을 덜 받는다. 3 데이터들이 정규분..