本文引入了“欺骗性接地”(DG)的概念,这是一种在临床检索增强生成中出现的故障模式,模型会呈现来自真实文档的证据,但将其错误地归因于其他实体,从而绕过了标准的忠实度和幻觉检查。
- 针对 13 个模型的基准测试显示,在对抗条件下 DG 发生率为 8-87%,经过医学微调的模型高达 86.7%。
- 消融研究表明,移除特定实体的证据可消除归因失败,使错误转向虚构。
- 对 740 个药物-疾病对的产线测量发现,整体 DG 发生率为 7.8%,近期获批药物的发生率升至 13.6%。
- 实体归因验证能以 97.0% 的精确度和 98.7% 的召回率检测 DG,但目前没有任何现有框架实施此检查。
作者认为当前的评估框架不足,因为它们不验证引用的证据是否适用于查询的实体,导致欺骗性接地在部署系统中持续存在。