著者らは、大規模言語モデルにおける堅牢で汎用性の高いTheory of Mind (ToM) 能力をベンチマークするために設計された2人用の対話ゲームであるEpistemic Asymmetry Schelling Task (EAST)を紹介する。このアプローチは、事前学習の曝露により攻略可能になり得るSally-Anneタスクのような従来のテキストベースの評価の限界に対処する。

  • EASTでは、LLM-LLMのペアが、epistemic transparencyの異なる状態の下で意味的なSchellingポイントに独立して収束することが求められる。
  • 本研究は機能的な社会推論における顕著な能力格差を明らかにし、最先端モデルのみがタスクの成功的な遂行に至った。
  • 分析により、協調の失敗は主にepistemic trackingエラー、例えば私的知識と相互知識の混同に起因することが示された。

これらの知見は、従来の静的ベンチマークで高いパフォーマンスを達成しているにもかかわらず、堅牢な社会推論とepistemic trackingが今後のLLM評価と開発における重要なボトルネックであることを示唆している。