Los investigadores introducen la destilación de confianza futura para mejorar la fiabilidad en modelos de lenguaje grandes aprovechando los aspectos temporales de la estimación de confianza. El método entrena predictores en representaciones ocultas pre-solución utilizando estimaciones de confianza del maestro derivadas de sondas de corrección post-solución.
- La confianza post-solución está consistentemente mejor calibrada y es más discriminativa que la confianza pre-solución.
- Las sondas lineales entrenadas en representaciones ocultas recuperan información relacionada con la confianza sustancialmente más rica que lo que los modelos verbalizan explícitamente.
- Los predictores destilados operan sobre representaciones pre-solución durante la inferencia, recuperando gran parte de la mejora de calibración lograda por métodos post-solución.
- El enfoque sigue siendo altamente eficiente en muestras y se transfiere entre conjuntos de datos dentro del mismo dominio.
Esta técnica permite una estimación de confianza significativamente más fiable y de bajo costo al anticipar la confianza antes de que se complete la generación de respuestas.