本文引入了“欺骗性接地”(DG)的概念,这是一种在临床检索增强生成中出现的故障模式,其中模型的声明在事实上源自真实文档,但被错误地归因于不相关的实体。该问题在标准的忠实度、幻觉和引用检查中仍然不可见。
- 针对 13 个模型的受控因子基准测试显示,在对抗性条件下 DG 发生率为 8-87%,经过医学微调的模型高达 86.7%。
- 消融研究表明,移除特定实体的临床证据可消除归因失败,将错误转移到虚构生成。
- 对 740 个药物-疾病对的系统生产测量发现,已部署系统的整体 DG 发生率为 7.8%,而最近获批药物的发生率上升至 13.6%。
- 实体归因验证以 97.0% 的精确度和 98.7% 的召回率检测 DG,但未在现有框架中实现。
作者认为,实体归因验证对于检测这种故障模式至关重要,而领域专业化会加剧而非缓解这一问题。