Le prompt Guided-Retry réduit les hallucinations des LLM lors d'échecs de base de données dans les dialogues orientés tâches

Les chercheurs proposent une approche de récupération légère basée sur le prompt pour améliorer la robustesse lorsque les appels à la base de données backend échouent ou retournent des informations incohérentes dans les agents de dialogue orientés tâches, sans nécessiter de réentraînement.

• Évalué sur six familles de modèles à poids ouverts (DeepSeek-R1, Gemma-2, Llama-3, Mistral, Phi-3 et Qwen-2.5) et quatre conditions de base de données, incluant des résultats vides et des erreurs API.
• Testé sur des benchmarks injectés de défauts construits à partir des ensembles de données MultiWOZ 2.2 et SGD.
• Les agents naïfs ont halluciné dans 30,5 % des tours d'échec sur MultiWOZ et 20,9 % sur SGD.
• La stratégie Guided-Retry a réduit les hallucinations de 50 % sur MultiWOZ (à 15,3 %) et de 42 % sur SGD (à 12,2 %).
• Les hallucinations résiduelles sont restées substantielles (6-37 % selon les modèles), les échecs de domaine étant le cas le plus difficile.

L'étude démontre que conditionner les réponses sur l'état structuré de la base de données améliore significativement les métriques de sécurité, bien que des erreurs résiduelles persistent, en particulier dans les scénarios de récupération complexes.