Les chercheurs identifient l'« empoisonnement par des documents obsolètes », un échec d'alignement temporel dans la Génération Augmentée par Récupération (RAG) où des preuves externes périmées amènent les modèles à fournir des réponses incorrectes bien qu'ils connaissent la bonne réponse sans récupération.

  • L'étude construit un benchmark de 317 inversions de connaissances vérifiées dans les domaines de la médecine, du droit, des logiciels et des politiques de plateforme.
  • La récupération périmée inverse 30 % des réponses de Llama et 37 % de celles de Qwen même sans instruction de faire confiance au document.
  • Des instructions explicites d'adhésion augmentent les taux d'empoisonnement à 66 % pour Llama et 75 % pour Qwen.
  • L'empoisonnement varie de 17 à 91 % sur quatre modèles ouverts et domaines, tandis que des preuves à jour sont suivies dans 97 à 100 % des essais.
  • Un réordonneur hybride sensible à la fraîcheur réduit l'empoisonnement de 4,6 à 10,0 points lorsque les dates sont exactes.

Les résultats indiquent qu'un RAG fiable nécessite une confiance sélective, où les modèles doivent déterminer non seulement ce que disent les preuves récupérées, mais aussi si elles s'appliquent encore.