Исследователи предлагают новую рамку для калибровки собственных значений семантических эмбеддингов в больших языковых моделях, устраняя пробел, где традиционные методы калибровки классификации неприменимы. Подход рассматривает LLM с семантическими эмбеддингами как предикторы матрицы плотности и применяет температурное масштабирование к их собственным значениям.

  • Интерпретирует LLM в сочетании с семантическими эмбеддингами как предикторы матрицы плотности.
  • Применяет температурное масштабирование к собственным значениям для калибровки.
  • Устанавливает эквивалентность энтропии и риска при калибровке.
  • Выводит центральное неравенство калибровки, специфичное для собственных значений.
  • Доказывает, что собственные значения с температурным масштабированием оптимизируют калибровку при минимизации рисков правильной оценки.

Эксперименты в реальных условиях показывают, что современные LLM систематически излишне уверены в себе, что подтверждает теоретические выводы и продвигает количественную оценку неопределенности для семантических эмбеддингов.