Los investigadores proponen un marco novedoso para calibrar los valores propios de las incrustaciones semánticas en modelos de lenguaje grandes, abordando la brecha donde los métodos convencionales de calibración de clasificación no se aplican. El enfoque trata a los LLM con incrustaciones semánticas como predictores de matriz de densidad y aplica escalado de temperatura a sus valores propios.
- Interpreta a los LLM combinados con incrustaciones semánticas como predictores de matriz de densidad.
- Aplica escalado de temperatura a los valores propios para la calibración.
- Establece la equivalencia entre entropía y riesgo bajo calibración.
- Deriva una desigualdad central de calibración específica para valores propios.
- Demuestra que los valores propios escalados por temperatura optimizan la calibración al minimizar riesgos de puntuación adecuada.
Los experimentos en configuraciones del mundo real muestran que los LLM actuales son sistemáticamente excesivamente confiados, validando los hallazgos teóricos y avanzando en la cuantificación de la incertidumbre para las incrustaciones semánticas.