questionet

RLHF의 탄생배경 모든 일이 그렇듯, 어느날 갑자기 없던 게 생겨나진 않습니다. 우리가 보는 건 땅 위에 싹이 불쑥 튀어 나와 하루가 다르게 쑥쑥 자라나는 모습이지만, 싹이 트기 바로 직전까지 땅속에는 무수한 씨앗들이 꿈틀대고 있었을 테니까요. RLHF (Reinforcement Learning Human Feedback) 에도 물론 히스토리가 있습니다. 그 전에, 눈에 보이지 않는 땅속에서 꿈틀거릴 수 있었던 저 씨앗들을 누가 뿌렸고, 그보다 앞서 저 씨앗들이 어디서부터 왔는지를 잠시 살펴보겠습니다. ChatGPT라는 혁신적인 AI 모델이 지난 2022년 겨울 우리에게 찾아오기 훨씬 전부터 LLM이 풀지 못했던 커다란 숙제가 하나 있었습니다. 바로 알고리즘의 편향 또는 편향된 알고리즘 문제가 바로 그..

1. Emergent Abilities의 정의 Emergence(창발)이란 철학과 과학에서 오랜 역사를 지닌 복잡한 개념입니다. (참고) 위키에서 볼 수 있듯이 창발에 대한 수많은 정의와 해석이 있지만 우리는 노벨물리학상 수상자인 Philip Anderson가 1972년에 발표한 에세이 "More Is Different" 에서 정의한 창발의 개념을 가지고 접근해보겠습니다. "Emergence is when quantitative changes in a system result in qualitative changes in behavior." 번역하자면 "Emergence(창발)은 시스템에서의 양적변화가 질적변화를 가져올 때를 의미한다" 정도가 되겠네요. 우리는 앞선 노트에서 파라미터 스케일의 급진적인 변..

1. Statistic LM, Neural LM, Pre-trained LM 그리고 LLM Foundation Model foundation model 이라는 개념에 대해 들어보셨나요? 통계적 언어모델, 신경망 언어모델을 거쳐 Transfomer 아키텍쳐 등장 이후, 우리는 사전 훈련된 모델을 사용해 downstream task를 수행하는 패러다임을 지나가고 있습니다. 2022년에 발표된 논문 On the Opportunities and Risks of Foundation Models 에서는 지금까지 나온 모든 Pre-trained LM(이하 PLM)들을 foundation model 이라는 개념으로 지칭하며 새로운 패러다임을 제시합니다. 논문의 저자들은 foundation model을 두 가지 특징으로..

안녕하세요 여러분:) LLM Trend Note1 에 오신걸 환영합니다! 최신 트렌드라는 게 따라가자니 어디서부터 시작해야할지 막막하고, 보고 있자니 이 기술이 앞으로도 유효할지 모르겠고, 아마 이 노트에서도 시간을 들여 숙고해볼 만한 가치가 없는 내용이 여러분들께서 노트를 보시게 될 시점엔 많아지게 되는 건 아닐까 저 역시 한편으론 걱정이 되기도 합니다. 이 노트를 작성하기 위해 자료를 수집하는 동안에도 closed source가 open되기도 했고 이런 자료가 있었으면 좋겠다 싶은 것들이 다음 날에 짠 하고 공개되곤 했으니까요. 하지만 다른 한편으로 트렌드란 오랜 시간의 압력으로 굳어져 크게 변할 수 없어 보이는 현상이나 현재까지 이룩한 문명의 힘으로 규정지어진 기술적, 사회적 사실들로부터 생겨나고 ..

PLM + RLHF 학습방식의 등장으로 많은 사람들이 일순간 닭 쫓던 개가 됐다. 그런데 나는 아직까지도 별 감흥이 없다. 문제에 답을 주는 건 쉽다. 답이 없는 문제에 답을 주는 것도 어렵지 않다. 인간이 주는 문제를 모이마냥 받아먹는 한 그건 여전히 닭대가리다. 풀만한 가치가 있는 문제를 만들어 내는 것. 그런건 여전히 책장 속에 꽂혀있다.

P(A, B) = P(A) x P(B) 를 만족하면 A와 B가 독립이다 왜냐면 A와 B가 독립이라면 P(A|B) = P(A) 이다. P(A, B) = P(A|B) P(B) 인데 (이 공식은 조건부 언어모델의 배경 : 동시확률(결합확률)을 조건부확률로 분해할 수 있다는 것과 관련이 있습니다) 이건 P(A|B) = P(A, B) / P(B) 여기서 유도된다. P(A|B) = P(A) 이므로 P(A, B) = P(A|B) P(B) 이건 P(A, B) = P(A) P(B) 과 같다. 위처럼 공식으로만 외우면 직관적인 의미가 잘 와닿지 않습니다. P(A, B) = P(A) x P(B) 를 만족하면 A와 B가 독립이라는 게 정확히 무슨 뜻일까요? 조건부 확률은 왜 P(B|A) = P(A, B) / P(A) 같은 공..

1. "바람도 없는 공중에 수직(垂直)의 파문을 내이며 고요히 떨어지는 오동잎은 누구의 발자취입니까 지리한 장마 끝에 서풍에 몰려가는 무서운 검은 구름의 터진 틈으로, 언뜻언뜻 보이는 푸른 하늘은 누구의 얼굴입니까. 꽃도 없는 깊은 나무에 푸른 이끼를 거쳐서, 옛 탑(塔) 위의 고요한 하늘을 스치는 알 수 없는 향기는 누구의 입김입니까. 근원은 알지도 못할 곳에서 나서 돌뿌리를 울리고, 가늘게 흐르는 작은 시내는 구비구비 누구의 노래입니까. 연꽃 같은 발꿈치로 가이없는 바다를 밟고, 옥 같은 손으로 끝없는 하늘을 만지면서, 떨어지는 해를 곱게 단장하는 저녁놀은 누구의 시(詩)입니까. 타고 남은 재가 다시 기름이 됩니다. 그칠 줄을 모르고 타는 나의 가슴은 누구의 밤을 지키는 약한 등불입니까." 학창시절의..

주피터 노트북 셀에 작성한 코드¶모듈로 바로저장.¶ In [10]: %%writefile rating.py def nothing(): print("nothing") nothing() Overwriting rating.py 주피터 노트북에서 모듈 바로 실행¶ In [11]: %run rating.py nothing 경고 메시지 숨기기 / 보이기¶ In [12]: import warnings warnings.filterwarnings(action='ignore') In [ ]: import warnings warnings.filterwarnings(action='default') 주피터노트북 테마¶ 터미널에서 실행 In [ ]: jt -t oceans16 -T -N -kl -f ..