Para peneliti memperkenalkan distilasi kepercayaan masa depan untuk meningkatkan keandalan dalam model bahasa besar dengan memanfaatkan aspek temporal dari estimasi kepercayaan. Metode ini melatih prediktor pada representasi tersembunyi pra-solusi menggunakan estimasi kepercayaan guru yang diturunkan dari probe kebenaran pasca-solusi.
- Kepercayaan pasca-solusi secara konsisten lebih terkaliibrasi dan lebih diskriminatif daripada kepercayaan pra-solusi.
- Probe linier yang dilatih pada representasi tersembunyi memulihkan informasi terkait kepercayaan yang jauh lebih kaya daripada apa yang diekspresikan secara eksplisit oleh model.
- Prediktor hasil distilasi beroperasi pada representasi pra-solusi selama inferensi, memulihkan sebagian besar peningkatan kalibrasi yang dicapai oleh metode pasca-solusi.
- Pendekatan ini tetap sangat efisien dalam sampel dan bertransfer di seluruh dataset dalam domain yang sama.
Teknik ini memungkinkan estimasi kepercayaan yang jauh lebih andal namun berbiaya rendah dengan mengantisipasi kepercayaan sebelum generasi jawaban selesai.