Авторы представляют Epistemic Stance Flexibility Probing (ESFP), поведенческий бенчмарк, предназначенный для измерения того, насколько хорошо большие языковые модели различают промпты с внешней атрибуцией и самоатрибуцией. ESFP оценивает эту способность в шести эпистемических категориях с использованием 104 контролируемых элементов, оценивая лексическую самоаттрибуцию, отзывчивость на уровне представлений, плотность содержания позиции и согласованность между условиями.

  • Оценки восьми передовых моделей от пяти поставщиков показывают, что эпистемическая гибкость в значительной степени ортогональна общей способности модели.
  • Модель с открытыми весами объемом 27B показала результаты, сопоставимые с самыми сильными проприетарными системами по этому конкретному показателю.
  • Флагманская модель одного семейства показала худшие результаты по сравнению со своей облегченной версией, а модели, оптимизированные для рассуждений, не всегда демонстрировали более высокую гибкость.
  • Плотность содержания позиции дала наиболее сильный сигнал для измерения гибкости, тогда как поверхностные лексические маркеры, такие как «я думаю», могут меняться без соответствующих сдвигов в выраженной позиции.

ESFP измеряет склонность модели адаптировать свою эпистемическую позицию при изменяющихся условиях атрибуции, а не служит общей мерой компетентности.