Os autores apresentam a Tarefa de Assimetria Epistêmica de Schelling (EAST), um jogo de diálogo entre dois jogadores projetado para avaliar capacidades robustas e generalizáveis de Teoria da Mente (ToM) em Grandes Modelos de Linguagem. Esta abordagem aborda limitações em avaliações tradicionais baseadas em texto, como a tarefa de Sally-Anne, que podem ser contornadas devido à exposição durante o pré-treinamento.
- EAST requer que díades LLM-LLM converjam independentemente para pontos de Schelling semânticos sob vários estados de transparência epistêmica.
- O estudo revela uma lacuna significativa no raciocínio social funcional, com apenas modelos de ponta conseguindo navegar com sucesso nas tarefas.
- A análise mostra que falhas de coordenação são impulsionadas principalmente por erros de rastreamento epistêmico, como confundir conhecimento privado com conhecimento mútuo.
Os achados indicam que, apesar do alto desempenho em benchmarks estáticos tradicionais, o raciocínio social robusto e o rastreamento epistêmico permanecem como gargalos críticos para a futura avaliação e desenvolvimento de LLMs.