Pesquisadores propõem uma nova estrutura para calibrar os autovalores dos embeddings semânticos em grandes modelos de linguagem, abordando a lacuna onde métodos convencionais de calibração de classificação não se aplicam. A abordagem trata LLMs com embeddings semânticos como preditores de matriz de densidade e aplica escalonamento de temperatura aos seus autovalores.
- Interpreta LLMs combinados com embeddings semânticos como preditores de matriz de densidade.
- Aplica escalonamento de temperatura aos autovalores para calibração.
- Estabelece a equivalência entre entropia e risco sob calibração.
- Deriva uma desigualdade central de calibração específica para autovalores.
- Prova que autovalores com escalonamento de temperatura otimizam a calibração ao minimizar riscos de pontuação própria.
Experimentos em configurações do mundo real mostram que os LLMs atuais são sistematicamente excessivamente confiantes, validando as descobertas teóricas e avançando na quantificação da incerteza para embeddings semânticos.