저자들은 대규모 언어 모델에서 견고하고 일반화 가능한 Theory of Mind (ToM) 능력을 벤치마킹하도록 설계된 두 사람용 대화 게임인 Epistemic Asymmetry Schelling Task (EAST)를 소개합니다. 이 접근 방식은 사전 학습 노출로 인해 조작될 수 있는 Sally-Anne 작업과 같은 기존 텍스트 기반 평가의 한계를 해결합니다.

  • EAST는 LLM-LLM 쌍이 epistemic transparency의 다양한 상태 하에서 의미론적 Schelling 포인트에 독립적으로 수렴하도록 요구합니다.
  • 이 연구는 기능적 사회 추론에서 상당한 능력 격차를 드러냈으며, 최전방 모델들만 작업을 성공적으로 탐색했습니다.
  • 분석 결과, 조정 실패는 주로 사적 지식과 상호 지식을 혼동하는 것과 같은 epistemic tracking 오류에 의해 주도되는 것으로 나타났습니다.

이러한 발견은 기존 정적 벤치마크에서 높은 성능을 발휘함에도 불구하고, 견고한 사회 추론과 epistemic tracking이 향후 LLM 평가 및 개발의 중요한 병목 현상임을 시사합니다.