研究者らは、信頼性推定の時間的側面を活用することで、大規模言語モデルの信頼性を向上させるために、未来信頼性蒸留を導入した。この手法は、教師の信頼性推定値を解答後の正解性プローブから導出し、それを用いて解答前の隠れ表現上の予測子を訓練する。
- 解答後の信頼性は、解答前の信頼性よりも一貫して較正が良く、識別力が高い。
- 隠れ表現に対して訓練された線形プローブは、モデルが明示的に言語化するものよりも大幅に豊かな信頼性関連情報を回復する。
- 蒸留された予測子は、推論時に解答前の表現上で動作し、解答後手法によって達成された較正改善の多くを回復する。
- このアプローチはサンプル効率が高く、同一ドメイン内のデータセット間で転移可能である。
この技法により、回答生成が完了する前に信頼性を予測することで、大幅に信頼性が高く低コストな信頼性推定が可能になる。