Levent Bulutは、「要約バイアス」の運用定義をあいまいな記述から検証可能な構成概念へと更新し、事前指定された反証条件付きの研究プロトコルを登録した。新しい定義では、このバイアスを、単に詳細を削ぎ落とすのではなく、提示された構造を抽象的な要約ラベル(語られたモード)に置き換えるモデルの体系的な傾向として特徴づける。
- この構成概念は、内容名付けをする抽象的要約ラベルで再構築可能な提示構造を置き換えることとして定義され、特に「語られた」宣言を「提示された」物理的手がかりよりも優先する。
- プロトコルでは、人間が作成した刺激の20組のマッチペアと、LLMジャッジを用いた少なくとも3つのモデルファミリーによる評価が必要である。
- 主要な反証条件が設定されている:モデルが人間と比較して語られたモードを好まない場合(Cohen’s h ≥ 0.3 または OR ≥ 2)、この構成概念は撤回される。
- バイアスが冗長性や迎合性から分離されていることを確認するため、長さの不一致ペアと異なる枠組みを用いてテストを再実行する識別検証が含まれている。
Bulutは設計に対する批判を求めている。具体的には、長さマッチングがこのバイアスを冗長性バイアスから十分に分離できているか、そして推論負荷を測定するための適切な指標としてSuppressed Information Indexが正しいかどうかについてである。