研究人员推出了 SPANUQ，这是一种轻量级探针，通过对 LLM 隐藏状态进行一次前向传播，将多样本推理中的不确定性知识蒸馏出来，从而执行跨度级不确定性估计（SLUE）。该方法采用 DETR 风格的跨度解码器，通过混合 Beta 分布同时检测跨度并估计其不确定性。

  • SPANUQ-BENCH 是首个跨度级不确定性基准测试，包含 20K 个提示、293K 个标注跨度以及源自多样本主张验证的连续软标签。
  • 在五种 LLM 骨干网络上的实验表明，SPANUQ 始终实现最佳的跨度级不确定性质量，优于最强的探针基线及所有基于采样的方法，同时速度提升 10-20 倍。
  • 其基于 DETR 的跨度检测器达到 0.910 F1，比最佳启发式方法高出 39.4%，实现了序列级方法无法提供的精确错误定位。

该框架在跨越两个模型家族的五种 LLM 上进行了泛化，解决了令牌级和序列级不确定性分数的局限性。