研究者たちは、大規模言語モデルの残差ストリーム上の線形プローブが、金融質問応答において「自信満々に間違っている」回答を信頼性高く検出できることを示した。これは行動ベースの信頼性のベンチマークを上回る性能である。本研究は、Qwen3-8B、Llama-3.1-8B、Gemma-2-9Bを用いて、FinQAおよびTAT-QAベンチマークでこの手法を評価した。

  • 8つの再サンプリング出力が一致した自信満々の回答のうち、FinQAでは15〜23%が誤答であった。
  • これらの幻覚を検出するためにプローブはAUROC 0.68〜0.77を達成し、トークンの対数確率や自己評価などのベースラインのAUROC 0.55〜0.63よりも有意に高かった。
  • この手法は、行動ベースの信頼性指標では捉えきれないエラーを内部活性化を利用して特定する。

著者たちは、このプローブ法が、重大な金融アプリケーションにおいてLLMの回答を人間のレビューへルーティングするための費用対効果の高い選別メカニズムを提供すると示唆している。