本記事は、「欺瞞的グラウンディング」(DG)という概念を導入します。これは、臨床的な検索拡張生成(RAG)における失敗モードで、モデルが実際の文書からの証拠を提示するものの、それを誤ったエンティティに帰属させ、標準的な忠実性や幻覚のチェックを回避します。
- 13モデルにわたるベンチマークでは、敵対的条件下でDG率が8〜87%となり、医療用ファインチューニング済みモデルでは最大86.7%に達しました。
- アブレーション研究により、エンティティ固有の証拠を除去すると帰属失敗が解消され、エラーが捏造へと移行することが明らかになりました。
- 740の薬物-疾患ペアでの生産環境測定では、全体のDG率が7.8%となり、最近承認された薬物では13.6%に上昇しました。
- エンティティ帰属検証は97.0%の精度と98.7%の再現率でDGを検出しますが、このチェックを実装している既存のフレームワークはありません。
著者らは、現在の評価フレームワークが引用された証拠が照会されたエンティティに適用されるかどうかを検証していないため不十分であり、デプロイされたシステムにおいて欺瞞的グラウンディングが持続することを許容していると主張しています。