本記事は、「欺瞞的グラウンディング」（DG）という概念を導入しています。これは、臨床的な検索拡張生成（RAG）における失敗モードで、モデルの主張が取得された文書に基づいて事実的に裏付けられているにもかかわらず、誤ったエンティティに帰属される現象です。この問題は、すべての主張が実際の文書から出典されているため、標準的な忠実度、幻覚、引用チェックでは検出できません。

  • 13モデルにわたる制御された要因分析ベンチマークでは、最大限の敵対的条件下でDG率が8〜87%に達し、医療専門のファインチューニング済みモデルでは最大86.7%に達しました。
  • ドメイン特化は、この失敗を緩和するのではなく、増幅することが発見されました。
  • アブレーション研究により、エンティティ固有の臨床証拠を除去するとエンティティ帰属の失敗が完全に消え、失敗が虚構（confabulation）へとシフトすることが特定されました。
  • 展開されたRAGシステム内の740の薬物-疾患ペアにおけるプロダクション測定では、全体のDG率が7.8%、最近承認された薬物では13.6%に上昇しました。
  • エンティティ帰属検証は、97.0%の精度と98.7%の再現率でDGを検出しますが、現在これを実装している既存のフレームワークはありません。

著者たちは、この問題が重要であると考えています。なぜなら、現在の評価フレームワークはエンティティ帰属エラーを検出できず、これが専門モデルやプロダクションシステムで蔓延しているからです。