Levent Bulut 将“摘要偏差”的操作定义从松散描述更新为可测试的构念，并建立了带有预设证伪者的注册研究协议。新定义将该偏差表征为模型系统性地将展示模式结构替换为抽象摘要标签（陈述模式）的倾向，而不仅仅是剥离细节。

  • 该构念被定义为用命名其内容的抽象摘要标签替换可重构的展示模式结构，特别偏好“陈述”声明而非“展示”物理线索。
  • 该协议要求使用20对匹配的人类编写刺激材料，并由至少三个模型家族使用 LLM judges 进行评估。
  • 确立了关键证伪者：如果模型相对于人类未表现出对陈述模式的偏好（Cohen’s h ≥ 0.3 或 OR ≥ 2），则该构念将被撤回。
  • 包含区分效度检查，通过重新运行长度不匹配的配对和不同框架的测试，确保该偏差与冗长性和阿谀奉承脱钩。

Bulut 寻求对该设计提出批评，特别是关于长度匹配是否足以将其与冗长性偏差区分开来，以及抑制信息指数（Suppressed Information Index）是否是测量推理负荷的正确工具。