作者引入了认知不对称谢林任务（EAST），这是一种双人对话游戏，旨在为大语言模型中稳健且可泛化的心智理论（ToM）能力提供基准测试。该方法解决了传统文本评估的局限性，例如由于预训练暴露而容易被操纵的 Sally-Anne 任务。
- EAST 要求 LLM-LLM 对在不同的认知透明度状态下独立收敛于语义谢林点。
- 研究揭示了功能社会推理方面的显著能力差距，只有前沿模型成功完成了这些任务。
- 分析显示，协调失败主要由认知跟踪错误驱动，例如将私人知识与共同知识混淆。
研究结果表明，尽管在传统静态基准测试中表现优异，但稳健的社会推理和认知跟踪仍然是未来 LLM 评估和发展中的关键瓶颈。