研究人员发现了“过期文档投毒”现象，这是检索增强生成（RAG）中的一种时间对齐故障：过时的外部证据会导致模型在无需检索本可给出正确回答的情况下提供错误答案。

  • 该研究构建了一个包含317个经核实知识反转的基准测试，涵盖医学、法律、软件和平台政策领域。
  • 即使没有指示信任文档，过时检索仍使Llama的回答翻转30%，Qwen的回答翻转37%。
  • 明确的跟随指令将投毒率分别提升至Llama的66%和Qwen的75%。
  • 在四个开源模型和领域中，投毒率范围为17%-91%，而在97%-100%的试验中遵循了最新证据。
  • 当日期准确时，固定的时效感知混合重排序器可将投毒率降低4.6-10.0个百分点。

研究结果表明，可靠的RAG需要选择性信任，模型必须不仅判断检索到的证据内容，还要判断其是否仍然适用。