3つのファミリー（2B〜14B）に属する5つのインストラクション調整済みモデルにわたる研究により、LLMのAbstentionには回答の正確性と質問の答弁可能性という2つの明確な軸があることが特定されました。この研究では、通常の回答自信度は回答が正しいかどうかを追跡しますが、質問が答弁可能かどうかについてはほとんど検知できず、一方、隠れ状態に対する線形プローブは答弁不可能性を検出できることがわかりました。

  • 誤った前提の質問（CREPE）において、標準的な指標は確率レベルに近いままですが、隠れ状態のプローブは0.69から0.77のAUROCに達します。
  • モデルに前提を確認するよう指示すると57%の誤った挑戦につながりますが、プローブを介してルーティングされた指示は挑戦の精度を3倍に高めます。
  • 答弁可能性と正確性の両方のスコアについて0.75のカバレッジを保証する較正済みポリシーは、単一の閾値の失敗と比較して0.31の正しい回答カバレッジを実現します。

このアプローチにより、規模の大小を問わず答弁不可能な回答の率を制御可能にし、モデルの精度に応じて誤った回答の率を制限することができます。