Les auteurs présentent DeepStress, un cadre pour tester sous stress les agents de recherche profonde en remplaçant leurs modules de récupération par un environnement synthétique contrôlé. Cette approche permet aux chercheurs de manipuler la fréquence et la qualité des preuves sur trois dimensions : la fiabilité, la pertinence et l'exactitude.
- Le cadre remplace la récupération standard par un environnement synthétique pour contrôler la fiabilité des documents.
- Les tests sur HotpotQA et BrowseCompPlus révèlent des différences substantielles dans la manière dont les agents traitent les informations non fiables.
- L'étude propose de nouvelles métriques pour mieux documenter les résultats du système et les interactions entre les connaissances paramétriques et récupérées.
Ce travail aborde la robustesse peu explorée des agents de recherche face à des preuves de mauvaise qualité, qui peut entraîner des échecs dramatiques dans les applications réelles malgré de bonnes performances sur des benchmarks réalistes.