Исследователи представляют SPANUQ, лёгкий зонд, который выполняет оценку неопределённости на уровне спанов (SLUE), дистиллируя знания о неопределённости из многовыборочного вывода в один прямой проход по скрытым состояниям LLM. Метод использует декодер спанов в стиле DETR для одновременного обнаружения спанов и оценки их неопределённости с помощью смеси распределения Бета.

  • SPANUQ-BENCH — это первый бенчмарк неопределённости на уровне спанов, включающий 20K промптов, 293K аннотированных спанов и непрерывные мягкие метки, полученные из многовыборочной проверки утверждений.
  • Эксперименты на пяти архитектурах LLM показывают, что SPANUQ стабильно достигает наилучшего качества оценки неопределённости на уровне спанов, превосходя сильнейший базовый зонд и все методы на основе сэмплирования при этом в 10-20 раз быстрее.
  • Его детектор спанов на базе DETR достигает F1 0.910, превосходя лучшую эвристику на 39.4%, что обеспечивает точную локализацию ошибок, недоступную для методов на уровне последовательности.

Фреймворк обобщается на пять LLM, охватывающих два семейства моделей, устраняя ограничения оценок неопределённости на уровне токенов и последовательностей.