Исследователи выявили «отравление устаревшими документами» — сбой временной синхронизации в Retrieval-Augmented Generation (RAG), при котором устаревшие внешние данные заставляют модели давать неверные ответы, хотя без поиска они знают правильный ответ.

  • Исследование создаёт бенчмарк из 317 подтверждённых изменений знаний в области медицины, права, программного обеспечения и политики платформ.
  • Устаревший поиск меняет 30% ответов Llama и 37% ответов Qwen даже без инструкций доверять документу.
  • Явные инструкции следовать за документами повышают уровень отравления до 66% для Llama и 75% для Qwen.
  • Отравление варьируется от 17% до 91% в четырёх открытых моделях и областях, тогда как актуальные данные следуются в 97–100% испытаний.
  • Фиксированный гибридный реранкер с учётом свежести снижает уровень отравления на 4,6–10,0 баллов при точных датах.

Выводы указывают, что надёжный RAG требует избирательного доверия: модели должны определять не только то, что говорит извлечённое доказательство, но и применимо ли оно ещё.