Les auteurs introduisent l'Epistemic Asymmetry Schelling Task (EAST), un jeu de dialogue à deux joueurs conçu pour évaluer les capacités robustes et généralisables de Theory of Mind (ToM) dans les grands modèles de langage. Cette approche comble les limites des évaluations traditionnelles basées sur le texte, telles que la tâche Sally-Anne, qui peuvent être contournées en raison de l'exposition lors de l'apprentissage préalable.
- EAST exige que les dyades LLM-LLM convergent indépendamment vers des points de Schelling sémantiques sous divers états de transparence épistémique.
- L'étude révèle un écart de capacité significatif dans le raisonnement social fonctionnel, seuls les modèles de pointe ayant réussi à naviguer dans les tâches.
- L'analyse montre que les échecs de coordination sont principalement dus à des erreurs de suivi épistémique, telles que la confusion entre connaissances privées et connaissances mutuelles.
Les résultats indiquent que malgré des performances élevées sur les benchmarks statiques traditionnels, le raisonnement social robuste et le suivi épistémique restent des goulets d'étranglement critiques pour l'évaluation et le développement futurs des LLM.