L'article présente la distillation de la confiance future (future confidence distillation), une méthode qui entraîne des prédicteurs sur des représentations cachées pré-solution en utilisant des estimations de confiance enseignant dérivées de sondes de correction post-solution. Cette approche permet au modèle d'anticiper les informations liées à la confiance avant que la génération de la réponse ne soit terminée.
- La confiance post-solution est constamment mieux calibrée et plus discriminante que les estimations Feeling-of-Knowing pré-solution.
- Les sondes linéaires entraînées sur des représentations cachées récupèrent des informations liées à la confiance substantiellement plus riches que ce que les modèles verbalisent explicitement.
- Les prédicteurs distillés nécessitent uniquement des représentations pré-solution pour l'inférence, restent très efficaces en termes d'échantillons et se transfèrent entre des ensembles de données du même domaine.
Les auteurs considèrent cela comme important car cela permet une estimation de la confiance significativement plus fiable et à faible coût pour les décisions en aval dans les systèmes conscients de la confiance.