Авторы представляют задачу Эпистемической Асимметрии Шеллинга (EAST), двухпользовательскую диалоговую игру, предназначенную для оценки устойчивых и обобщаемых способностей к Теории Разума (ToM) в больших языковых моделях. Этот подход устраняет ограничения традиционных текстовых оценок, таких как задача Салли-Энн, которые можно обойти из-за воздействия предобучения.
- EAST требует от пар LLM-LLM независимо сходиться к семантическим точкам Шеллинга при различных состояниях эпистемической прозрачности.
- Исследование выявляет значительный пробел в функциональном социальном рассуждении, где только передовые модели успешно справляются с задачами.
- Анализ показывает, что сбои координации в основном обусловлены ошибками эпистемического отслеживания, такими как смешение частных знаний с взаимными знаниями.
Результаты указывают на то, что, несмотря на высокие показатели в традиционных статических бенчмарках, устойчивое социальное рассуждение и эпистемическое отслеживание остаются критическими узкими местами для будущей оценки и разработки LLM.