연구자들은 대규모 언어 모델에서 시맨틱 임베딩의 고유값을 보정하는 새로운 프레임워크를 제안하며, 기존 분류 보정 방법이 적용되지 않는 격차를 해소합니다. 이 접근법은 시맨틱 임베딩이 있는 LLM을 밀도 행렬 예측기로 취급하고 그 고유값에 온도 스케일링을 적용합니다.
- 시맨틱 임베딩과 결합된 LLM을 밀도 행렬 예측기로 해석합니다.
- 보정을 위해 고유값에 온도 스케일링을 적용합니다.
- 보정 하에서 엔트로피-리스크 동등성을 확립합니다.
- 고유값에 특정한 중심 보정 부등식을 유도합니다.
- 적절한 점수 리스크를 최소화할 때 온도 스케일링된 고유값이 보정을 최적화함을 증명합니다.
현실적인 설정에 대한 실험은 현재 LLM이 체계적으로 과신하고 있음을 보여주어 이론적 발견을 검증하고 시맨틱 임베딩의 불확실성 정량화를 발전시켰습니다.