Les chercheurs présentent SPANUQ, un sondeur léger qui effectue une Estimation de l'Incertitude au Niveau des Spans (SLUE) en distillant les connaissances sur l'incertitude issues de l'inférence multi-échantillon dans un seul passage avant sur les états cachés du LLM. La méthode utilise un décodeur de spans de style DETR pour détecter simultanément les spans et estimer leur incertitude via un Mélange de Distributions Bêta.

  • SPANUQ-BENCH est le premier benchmark d'incertitude au niveau des spans, comprenant 20K prompts, 293K spans annotés et des étiquettes souples continues dérivées de la vérification multi-échantillon des affirmations.
  • Les expériences sur cinq backbones LLM montrent que SPANUQ atteint constamment la meilleure qualité d'incertitude au niveau des spans, surpassant le meilleur baseline de sondeur et toutes les méthodes basées sur l'échantillonnage tout en étant 10 à 20 fois plus rapide.
  • Son détecteur de spans basé sur DETR atteint un F1 de 0.910, dépassant la meilleure heuristique de 39,4 %, permettant une localisation précise des erreurs que les méthodes au niveau de la séquence ne peuvent pas fournir.

Le framework généralise à travers cinq LLM couvrant deux familles de modèles, répondant aux limites des scores d'incertitude au niveau des tokens et des séquences.