Makalah ini memperkenalkan distilasi kepercayaan masa depan (future confidence distillation), sebuah metode yang melatih prediktor pada representasi tersembunyi pra-solusi menggunakan estimasi kepercayaan guru yang diturunkan dari probe kebenaran pasca-solusi. Pendekatan ini memungkinkan model untuk mengantisipasi informasi terkait kepercayaan sebelum generasi jawaban selesai.
- Kepercayaan pasca-solusi secara konsisten lebih terkalsibrasi dengan baik dan lebih diskriminatif daripada estimasi Feeling-of-Knowing pra-solusi.
- Probe linear yang dilatih pada representasi tersembunyi memulihkan informasi terkait kepercayaan yang jauh lebih kaya daripada apa yang diekspresikan secara eksplisit oleh model.
- Prediktor distilasi hanya memerlukan representasi pra-solusi untuk inferensi, tetap sangat efisien sampelnya, dan bertransfer antar dataset dalam domain yang sama.
Para penulis menganggap ini penting karena memungkinkan estimasi kepercayaan yang jauh lebih andal namun berbiaya rendah untuk keputusan hilir dalam sistem yang sadar kepercayaan.