Les chercheurs proposent un nouveau cadre pour calibrer les valeurs propres des embeddings sémantiques dans les grands modèles de langage, comblant le manque où les méthodes classiques de calibration de classification ne s'appliquent pas. L'approche traite les LLM avec des embeddings sémantiques comme des prédicteurs de matrices de densité et applique une mise à l'échelle par température à leurs valeurs propres.
- Interprète les LLM combinés avec des embeddings sémantiques comme des prédicteurs de matrices de densité.
- Applique une mise à l'échelle par température aux valeurs propres pour la calibration.
- Établit l'équivalence entropie-risque sous calibration.
- Déduit une inégalité centrale de calibration spécifique aux valeurs propres.
- Prouve que les valeurs propres mises à l'échelle par température optimisent la calibration lors de la minimisation des risques de score propre.
Les expériences sur des paramètres réels montrent que les LLM actuels sont systématiquement trop confiants, validant les résultats théoriques et faisant progresser la quantification de l'incertitude pour les embeddings sémantiques.