研究者らは、マルチサンプル推論から得られた不確実性の知識をLLMの隠れ状態への単一順伝播に蒸留することで、スパンレベル不確実性推定（SLUE）を実行する軽量なプローブであるSPANUQを発表しました。この手法は、DETRスタイルのスパンデコーダを採用し、ベータ分布の混合を用いてスパンの検出とその不確実性の推定を同時に行います。

  • SPANUQ-BENCHは、20Kのプロンプト、293Kのアノテーション付きスパン、およびマルチサンプル主張検証から導出された連続ソフトラベルで構成される、初のスパンレベル不確実性ベンチマークです。
  • 5つのLLMバックボーンでの実験により、SPANUQが一貫して最良のスパンレベル不確実性の品質を達成し、最強のプローブベースラインやすべてのサンプリングベースの手法を上回り、かつ10〜20倍高速であることが示されました。
  • そのDETRベースのスパン検出器は0.910 F1を達成し、最良のヒューリスティックより39.4%上回り、シーケンスレベルの手法では提供できない精密なエラーの局所化を可能にします。

このフレームワークは2つのモデルファミリーにまたがる5つのLLMにわたって汎化し、トークンレベルおよびシーケンスレベルの不確実性スコアの限界に対処しています。