연구자들은 멀티 샘플 추론에서 얻은 불확실성 지식을 LLM의 히든 상태에 대한 단일 순전파로 증류하여 스팬 수준 불확실성 추정(SLUE)을 수행하는 경량 프로브인 SPANUQ를 소개했습니다. 이 방법은 DETR 스타일 스팬 디코더를 사용하여 베타 분포의 혼합(Mixture of Beta distribution)을 통해 스팬 감지와 그 불확실성 추정을 동시에 수행합니다.

  • SPANUQ-BENCH는 20K개의 프롬프트, 293K개의 주석이 달린 스팬, 그리고 멀티 샘플 주장 검증에서 유도된 연속 소프트 라벨로 구성된 최초의 스팬 수준 불확실성 벤치마크입니다.
  • 다섯 가지 LLM 백본에 대한 실험 결과, SPANUQ가 일관되게 가장 우수한 스팬 수준 불확실성 품질을 달성하며最强 프로브 베이스라인과 모든 샘플링 기반 방법을 능가하고 10~20배 더 빠름을 보였습니다.
  • DETR 기반 스팬 검출기는 0.910 F1을 달성하여 최상의 휴리스틱보다 39.4% 우수하며, 시퀀스 수준 방법에서는 제공할 수 없는 정밀한 오류 국소화를 가능하게 합니다.

이 프레임워크는 두 모델 계열에 걸친 다섯 가지 LLM에 걸쳐 일반화되며, 토큰 수준 및 시퀀스 수준의 불확실성 점수의 한계를 해결합니다.