Los investigadores presentan SPANUQ, una sonda ligera que realiza Estimación de Incertidumbre a Nivel de Span (SLUE) destilando conocimiento de incertidumbre de inferencias multi-muestra en un solo pase hacia adelante sobre los estados ocultos del LLM. El método emplea un decodificador de spans estilo DETR para detectar simultáneamente spans y estimar su incertidumbre mediante una Mezcla de Distribución Beta.

  • SPANUQ-BENCH es el primer benchmark de incertidumbre a nivel de span, que comprende 20K prompts, 293K spans anotados y etiquetas suaves continuas derivadas de la verificación multi-muestra de afirmaciones.
  • Los experimentos en cinco backbones de LLM muestran que SPANUQ logra consistentemente la mejor calidad de incertidumbre a nivel de span, superando a la sonda base más fuerte y a todos los métodos basados en muestreo mientras es 10-20x más rápido.
  • Su detector de spans basado en DETR alcanza un F1 de 0.910, superando a la mejor heurística en un 39.4%, permitiendo una localización precisa de errores que los métodos a nivel de secuencia no pueden proporcionar.

El framework se generaliza a través de cinco LLMs que abarcan dos familias de modelos, abordando las limitaciones de las puntuaciones de incertidumbre a nivel de token y de secuencia.