本文介绍了未来置信蒸馏，这是一种在解前隐藏表示上训练预测器的方法，使用从解后正确性探针导出的教师置信度估计。这种方法使模型能够在答案生成完成之前预置信相关信息。

  • 解后置信度始终比解前知识感估计具有更好的校准和更强的判别力。
  • 在隐藏表示上训练的线性探针恢复的置信相关信息比模型明确表达的要丰富得多。
  • 蒸馏预测器仅需解前表示即可进行推理，保持极高的样本效率，并在同一领域内的数据集之间迁移。

作者认为这很重要，因为它为置信感知系统中的下游决策提供了更可靠且低成本的置信度估计。