研究者らは、大規模言語モデルにおけるセマンティック埋め込みの固有値をキャリブレーションする新たなフレームワークを提案し、従来の分類キャリブレーション手法が適用できないギャップに対処した。このアプローチは、セマンティック埋め込みを持つLLMを密度行列予測器として扱い、その固有値に温度スケーリングを適用する。

  • セマンティック埋め込みと組み合わせたLLMを密度行列予測器として解釈する。
  • キャリブレーションのために固有値に温度スケーリングを適用する。
  • キャリブレーション下でエントロピーリスクの同等性を確立する。
  • 固有値に特有の中心的なキャリブレーション不等式を導出する。
  • 適切なスコアリスクを最小化する場合、温度スケーリングされた固有値がキャリブレーションを最適化することを証明する。

現実の設定での実験により、現在のLLMは体系的に過信していることが示され、理論的知見を検証し、セマンティック埋め込みの不確実性定量化を進展させた。