著者らは、Epistemic Stance Flexibility Probing (ESFP) を導入した。これは、大規模言語モデルが外部帰属プロンプトと自己帰属プロンプトをどの程度区別できるかを測定するために設計された行動ベンチマークである。ESFPは、104の制御された項目を用いて6つの認識的カテゴリにわたってこの能力を評価し、語彙的自己帰属、表現レベルでの応答性、立場コンテンツ密度、および条件間の一貫性を評価する。

  • 5つのベンダーからの8つの最先端モデルの評価により、認識的柔軟性は一般的なモデル能力とほぼ直交していることが示された。
  • 27Bのオープンウェイトモデルは、この特定の指標において最も強力なプロプライエタリシステムのパフォーマンスに匹敵した。
  • あるファミリーのフラッグシップモデルは軽量版よりも性能が劣り、推論最適化モデルは一貫して高い柔軟性を示すわけではなかった。
  • 立場コンテンツ密度は柔軟性を測定するための最も強力なシグナルを提供したが、「I think」のような表面レベルの語彙マーカーは、表現された立場の変化を伴わずに変化し得る。

ESFPは、一般的な能力測度として機能するのではなく、変化しつつある帰属条件の下でモデルが認識的立場を適応させる傾向を測定する。