Les chercheurs introduisent la distillation de la confiance future pour améliorer la fiabilité des grands modèles de langage en exploitant les aspects temporels de l'estimation de la confiance. La méthode entraîne des prédicteurs sur des représentations cachées pré-solution à l'aide d'estimations de confiance enseignant dérivées de sondes de correction post-solution.
- La confiance post-solution est constamment mieux calibrée et plus discriminante que la confiance pré-solution.
- Les sondes linéaires entraînées sur des représentations cachées récupèrent des informations liées à la confiance substantiellement plus riches que ce que les modèles verbalisent explicitement.
- Les prédicteurs distillés opèrent sur des représentations pré-solution lors de l'inférence, récupérant une grande partie de l'amélioration de calibration atteinte par les méthodes post-solution.
- L'approche reste très efficace en échantillons et se transfère entre des ensembles de données du même domaine.
Cette technique permet une estimation de la confiance significativement plus fiable et à faible coût en anticipant la confiance avant la fin de la génération de la réponse.