questionet

지난 노트에서 보았던 그림을 다시 한번 보도록하겠습니다. 어떠신가요? 전체 흐름이 처음보다 더 눈에 들어오시나요? OpenAI, Google, Deepmind, Meta, HuggingFace, EleutherAI, SalesForces, BigScience 그리고 그림엔 빠져 있는 Anthropic까지 Foundation Model 이라고 명명되는 LLM을 향한 유수 테크기업들의 결과물들을 빠르게 살펴보면서 여러분들은 어떤 생각이 드셨는지 궁금합니다. Emergent Abilities라는 다소 거창해 보이는 개념을 짚어보면서 single GPU로 학습하는 상황이 대부분일 사람들에게 LLM 연구라는 것이 어쩌면 다소 멀게만 느껴질 수 있을거라고도 말씀드린 바 있었습니다. 이번 노트를 작성하면서 발견한 트..

지난 노트에서 우리는 OpenAI에서 발표한 InstructGPT 논문을 중심으로 LLM에 RLHF가 도입되기까지의 흐름과 RLHF 학습 메커니즘에 관한 내용을 간단히 살펴보았습니다. 이 글을 쓰고 있는 2023년 4월을 기준으로 가장 강력한 Emergence를 보여주는 모델은 GPT-4입니다. 현재 OpenAI의 유료 chatGPT 서비스는 GPT-4를 사용하고 있기 때문입니다. 문제는 GPT-4의 소스코드가 공개되어 있지 않다는 사실입니다. 우리는 GPT-4가 구체적으로 어떤 모델학습 인프라 위에서 어떤 아키텍쳐를 기반으로 얼마나 많은 파라미터를 가지고, 얼마나 많은 수의 토큰을 봤는지, 어떻게 데이터셋을 구성하여 어떤 RLHF 방식으로 학습시켰는지 알 수 없습니다. (GPT-4 Technical R..

RLHF의 탄생배경 모든 일이 그렇듯, 어느날 갑자기 없던 게 생겨나진 않습니다. 우리가 보는 건 땅 위에 싹이 불쑥 튀어 나와 하루가 다르게 쑥쑥 자라나는 모습이지만, 싹이 트기 바로 직전까지 땅속에는 무수한 씨앗들이 꿈틀대고 있었을 테니까요. RLHF (Reinforcement Learning Human Feedback) 에도 물론 히스토리가 있습니다. 그 전에, 눈에 보이지 않는 땅속에서 꿈틀거릴 수 있었던 저 씨앗들을 누가 뿌렸고, 그보다 앞서 저 씨앗들이 어디서부터 왔는지를 잠시 살펴보겠습니다. ChatGPT라는 혁신적인 AI 모델이 지난 2022년 겨울 우리에게 찾아오기 훨씬 전부터 LLM이 풀지 못했던 커다란 숙제가 하나 있었습니다. 바로 알고리즘의 편향 또는 편향된 알고리즘 문제가 바로 그..

1. Emergent Abilities의 정의 Emergence(창발)이란 철학과 과학에서 오랜 역사를 지닌 복잡한 개념입니다. (참고) 위키에서 볼 수 있듯이 창발에 대한 수많은 정의와 해석이 있지만 우리는 노벨물리학상 수상자인 Philip Anderson가 1972년에 발표한 에세이 "More Is Different" 에서 정의한 창발의 개념을 가지고 접근해보겠습니다. "Emergence is when quantitative changes in a system result in qualitative changes in behavior." 번역하자면 "Emergence(창발)은 시스템에서의 양적변화가 질적변화를 가져올 때를 의미한다" 정도가 되겠네요. 우리는 앞선 노트에서 파라미터 스케일의 급진적인 변..

1. Statistic LM, Neural LM, Pre-trained LM 그리고 LLM Foundation Model foundation model 이라는 개념에 대해 들어보셨나요? 통계적 언어모델, 신경망 언어모델을 거쳐 Transfomer 아키텍쳐 등장 이후, 우리는 사전 훈련된 모델을 사용해 downstream task를 수행하는 패러다임을 지나가고 있습니다. 2022년에 발표된 논문 On the Opportunities and Risks of Foundation Models 에서는 지금까지 나온 모든 Pre-trained LM(이하 PLM)들을 foundation model 이라는 개념으로 지칭하며 새로운 패러다임을 제시합니다. 논문의 저자들은 foundation model을 두 가지 특징으로..

안녕하세요 여러분:) LLM Trend Note1 에 오신걸 환영합니다! 최신 트렌드라는 게 따라가자니 어디서부터 시작해야할지 막막하고, 보고 있자니 이 기술이 앞으로도 유효할지 모르겠고, 아마 이 노트에서도 시간을 들여 숙고해볼 만한 가치가 없는 내용이 여러분들께서 노트를 보시게 될 시점엔 많아지게 되는 건 아닐까 저 역시 한편으론 걱정이 되기도 합니다. 이 노트를 작성하기 위해 자료를 수집하는 동안에도 closed source가 open되기도 했고 이런 자료가 있었으면 좋겠다 싶은 것들이 다음 날에 짠 하고 공개되곤 했으니까요. 하지만 다른 한편으로 트렌드란 오랜 시간의 압력으로 굳어져 크게 변할 수 없어 보이는 현상이나 현재까지 이룩한 문명의 힘으로 규정지어진 기술적, 사회적 사실들로부터 생겨나고 ..

PLM + RLHF 학습방식의 등장으로 많은 사람들이 일순간 닭 쫓던 개가 됐다. 그런데 나는 아직까지도 별 감흥이 없다. 문제에 답을 주는 건 쉽다. 답이 없는 문제에 답을 주는 것도 어렵지 않다. 인간이 주는 문제를 모이마냥 받아먹는 한 그건 여전히 닭대가리다. 풀만한 가치가 있는 문제를 만들어 내는 것. 그런건 여전히 책장 속에 꽂혀있다.

P(A, B) = P(A) x P(B) 를 만족하면A와 B가 독립이다왜냐면A와 B가 독립이라면P(A|B) = P(A) 이다. P(A, B) = P(A|B) P(B) 인데(이 공식은 조건부 언어모델의 배경 : 동시확률(결합확률)을 조건부확률로 분해할 수 있다는 것과 관련이 있습니다)이건 P(A|B) = P(A, B) / P(B) 여기서 유도된다.P(A|B) = P(A) 이므로 P(A, B) = P(A|B) P(B) 이건P(A, B) = P(A) P(B) 과 같다.위처럼 공식으로만 외우면 직관적인 의미가 잘 와닿지 않습니다.P(A, B) = P(A) x P(B) 를 만족하면 A와 B가 독립이라는 게 정확히 무슨 뜻일까요?조건부 확률은 왜P(B|A) = P(A, B) / P(A) 같은 공식을 가지는..