本文介绍了“欺骗性归因”(DG),这是一种在临床检索增强生成中出现的故障模式,其中模型的主张在事实层面基于检索到的文档,但被错误地归因于不正确的实体。由于每个主张都源自真实文档,该问题在标准的忠实度、幻觉和引用检查中均不可见。
- 针对13个模型的受控因子基准测试发现,在最恶劣对抗条件下,DG发生率介于8%至87%之间,其中经过医学微调的模型高达86.7%。
- 研究发现领域专业化会加剧而非缓解此故障。
- 消融研究表明,移除特定实体的临床证据可完全消除实体归属失败,使故障转移至虚构生成。
- 在已部署的RAG系统中对740个药物-疾病对的产线测量发现,整体DG发生率为7.8%,近期获批药物的DG发生率升至13.6%。
- 实体归属验证以97.0%的精确率和98.7%的召回率检测DG,但目前尚无现有框架实现该功能。
作者认为此问题至关重要,因为当前的评估框架无法检测实体归属错误,而这类错误在专用模型和产线系统中普遍存在。