本論文は、フィューチャー・コンフィデンス・ディスティレーション（future confidence distillation）という手法を提案しており、これは教師の信頼性推定値を、解答後の正解性プローブから導出したものを用いて、解答前の隠れ表現に対して予測子を訓練するものである。このアプローチにより、モデルは回答生成が完了する前に、信頼性に関連する情報を先読みすることが可能になる。

  • 解答後の信頼性は、解答前の「知っている感覚（Feeling-of-Knowing）」推定値と比較して、一貫して較正が良く、識別力も高い。
  • 隠れ表現に対して訓練された線形プローブは、モデルが明示的に言語化するものよりも、大幅に豊かな信頼性関連情報を回復する。
  • ディスティレーションされた予測子は、推論に解答前の表現のみを必要とし、サンプル効率が高く、同一ドメイン内のデータセット間で転移可能である。

著者らはこれを重要視している。なぜなら、これは信頼性 awareなシステムにおける下流の意思決定に対して、大幅により信頼性の高く、かつ低コストな信頼性推定を可能にするからである。