Los autores presentan DeepStress, un marco para realizar pruebas de estrés a agentes de búsqueda profunda reemplazando sus módulos de recuperación con un entorno sintético controlado. Este enfoque permite a los investigadores manipular la frecuencia y calidad de la evidencia en tres dimensiones: confiabilidad, relevancia y factualidad.
- El marco reemplaza la recuperación estándar con un entorno sintético para controlar la fiabilidad de los documentos.
- Las pruebas en HotpotQA y BrowseCompPlus revelan diferencias sustanciales en cómo los agentes manejan información no confiable.
- El estudio propone nuevas métricas para documentar mejor los resultados del sistema y las interacciones entre conocimiento paramétrico y recuperado.
Este trabajo aborda la robustez poco explorada de los agentes de búsqueda frente a evidencia de mala calidad, lo que puede llevar a fallos dramáticos en aplicaciones del mundo real a pesar de funcionar bien en benchmarks realistas.