3つのファミリー（2B〜14B）に属する5つのインストラクション微調整モデルにわたる研究は、モデルの拒否には回答の正解性と質問の回答可能性という2つの独立した軸があることを示している。この研究では、標準的な信頼度スコアは正解性を追跡できるが、質問が実際に回答可能かどうかについてはほぼ無感であり、特に誤った前提に基づく質問において顕著であることがわかった。

  • 隠れ状態に対する線形プローブは、0.69から0.77のAUROCで回答不可能な質問を検出できるのに対し、P(IK)やP(True)のような標準的な指標は偶然レベルに近いままとなる。
  • モデルに前提を確認するよう指示すると逆効果となり、正しい前提に対しても異議を唱える（57%が誤った異議）ようになるが、プローブ経由でルーティング指示を行うと、異議の精度が3倍になる。
  • 回答可能性と正解性のスコアを別々に用いた較正済みポリシーは、閾値0.75において正解の75%のカバレッジを保証するのに対し、単一閾値ではわずか31%である。

このアプローチにより、規模の大小にかかわらず回答不可能な回答の率を制御可能にし、モデルの精度によって不正解の率を制限することで、単一閾値手法よりもより厳密な保証を提供する。