Левент Булут обновил операционное определение «смещения при суммаризации», переведя его от расплывчатого описания к проверяемой конструкции, и зарегистрировал исследовательский протокол с заранее определёнными фальсификаторами. Новое определение характеризует это смещение как систематическую тенденцию моделей заменять структуру в режиме демонстрации (shown-mode) на абстрактные метки суммаризации (режим повествования/told mode), а не просто удалять детали.

  • Конструкция определяется как замена восстанавливаемой структуры режима демонстрации на абстрактную метку суммаризации, называющую её содержание, при этом отдаётся предпочтение «повествовательным» утверждениям перед «демонстративными» физическими признаками.
  • Протокол требует 20 пар сопоставленных стимулов, написанных человеком, и оценки как минимум тремя семействами моделей с использованием судей LLM.
  • Установлен ключевой фальсификатор: если модели не показывают предпочтения к режиму повествования по сравнению с людьми (Cohen’s h ≥ 0.3 или OR ≥ 2), конструкция будет отозвана.
  • Включены проверки дискриминантности, чтобы убедиться, что смещение отделено от многословия и сycophancy путём повторного проведения тестов на парах с несовпадающей длиной и различным оформлением.

Булут ищет критику дизайна, в частности относительно того, достаточно ли сопоставление по длине отделяет это от смещения к многословию и является ли Индекс подавленной информации правильным инструментом для измерения когнитивной нагрузки.