Pesquisadores apresentam o SPANUQ, uma sonda leve que realiza Estimativa de Incerteza em Nível de Span (SLUE) destilando conhecimento de incerteza da inferência multi-amostra em um único forward pass sobre os estados ocultos do LLM. O método emprega um decodificador de spans no estilo DETR para detectar spans e estimar sua incerteza simultaneamente por meio de uma Mistura de Distribuição Beta.

  • SPANUQ-BENCH é o primeiro benchmark de incerteza em nível de span, compreendendo 20K prompts, 293K spans anotados e rótulos suaves contínuos derivados da verificação multi-amostra de afirmações.
  • Experimentos em cinco backbones de LLM mostram que o SPANUQ consistentemente alcança a melhor qualidade de incerteza em nível de span, superando a sonda base mais forte e todos os métodos baseados em amostragem enquanto sendo 10-20x mais rápido.
  • Seu detector de spans baseado em DETR atinge F1 de 0.910, superando a melhor heurística em 39.4%, permitindo localização precisa de erros que métodos em nível de sequência não podem fornecer.

O framework generaliza-se através de cinco LLMs abrangendo duas famílias de modelos, abordando as limitações das pontuações de incerteza em nível de token e de sequência.