L'article introduit l'« ancrage trompeur » (DG), un mode de défaillance dans la génération augmentée par retrieval clinique où les modèles présentent des preuves issues de documents réels mais les attribuent à la mauvaise entité, contournant ainsi les vérifications standard de fidélité et d'hallucination.
- Un benchmark sur 13 modèles montre des taux de DG de 8 à 87 % dans des conditions adversariales, les modèles médicallement affinant atteignant jusqu'à 86,7 %.
- Des études d'ablation révèlent que la suppression des preuves spécifiques à l'entité élimine les échecs d'attribution, déplaçant les erreurs vers la confabulation.
- Une mesure en production sur 740 paires médicament-maladie a trouvé un taux global de DG de 7,8 %, augmentant à 13,6 % pour les médicaments récemment approuvés.
- La vérification d'attribution d'entité détecte le DG avec une précision de 97,0 % et un rappel de 98,7 %, mais aucun cadre existant n'implémente cette vérification.
Les auteurs soutiennent que les cadres d'évaluation actuels sont insuffisants car ils ne vérifient pas si la preuve citée s'applique à l'entité interrogée, permettant ainsi à l'ancrage trompeur de persister dans les systèmes déployés.