El artículo introduce la destilación de confianza futura, un método que entrena predictores en representaciones ocultas previas a la solución utilizando estimaciones de confianza del maestro derivadas de sondas de corrección posteriores a la solución. Este enfoque permite al modelo anticipar información relacionada con la confianza antes de que se complete la generación de la respuesta.
- La confianza posterior a la solución está consistentemente mejor calibrada y es más discriminativa que las estimaciones de sensación de conocimiento previas a la solución.
- Las sondas lineales entrenadas en representaciones ocultas recuperan información relacionada con la confianza sustancialmente más rica de lo que los modelos verbalizan explícitamente.
- Los predictores destilados requieren solo representaciones previas a la solución para la inferencia, permanecen altamente eficientes en muestras y se transfieren entre conjuntos de datos dentro del mismo dominio.
Los autores consideran esto importante porque habilita una estimación de confianza significativamente más confiable pero de bajo costo para decisiones posteriores en sistemas conscientes de la confianza.