Los autores presentan la Tarea de Asimetría Epistémica de Schelling (EAST), un juego de diálogo entre dos jugadores diseñado para evaluar capacidades robustas y generalizables de Teoría de la Mente (ToM) en Modelos de Lenguaje Grande. Este enfoque aborda las limitaciones de las evaluaciones tradicionales basadas en texto, como la tarea de Sally-Anne, que pueden ser superadas debido a la exposición durante el preentrenamiento.
- EAST requiere que las dyadas LLM-LLM converjan independientemente hacia puntos de Schelling semánticos bajo diversos estados de transparencia epistémica.
- El estudio revela una brecha significativa en el razonamiento social funcional, con solo los modelos de vanguardia logrando navegar exitosamente las tareas.
- El análisis muestra que los fallos de coordinación están impulsados principalmente por errores de seguimiento epistémico, como confundir conocimiento privado con conocimiento mutuo.
Los hallazgos indican que, a pesar del alto rendimiento en benchmarks estáticos tradicionales, el razonamiento social robusto y el seguimiento epistémico siguen siendo cuellos de botella críticos para la futura evaluación y desarrollo de LLMs.