LLM이 무엇인가를 이해하고 있다는 걸 어떻게 알 수 있을까?

내가 궁금한 것


LLM은 정말로 사람이 자신에게 하는 말을 "이해"하고 있는가? 

LLM은 정말로 자기가 사람에게 하는 말을 "이해"하고 있는가?
LLM은 자기가 사람에게 무슨 말을 하는 건지 알고 말하는 건가?


LLM이 사람이 자신에게 한 말을 이해했는지 어떻게 확인, 평가할 수 있을까?

그 평가 기준은 얼마나 신뢰할 수 있을까?


대화의 종류마다 다른 기준이 필요해보인다

어떤 대화에선 결국 말뿐이고, 그 어떤 기준으로도 정말로 이해했는지 알 수 없는 답변도 있을 것이다. (행동이 필요한)



LLM의 인간언어 이해능력 평가방법, 기준에 관하여.

이 솔루션은 일반적일수도 있겠지만, 그 LLM이 어디에 쓰이느냐에 따라 달라져야 할 것이다.

 매번 그 달라지는 솔루션을 어떻게 제공할까? 어떻게 자동화할까?