Os autores apresentam o DeepStress, um framework para testar a robustez de agentes de busca profunda substituindo seus módulos de recuperação por um ambiente sintético controlado. Esta abordagem permite que pesquisadores manipulem a frequência e a qualidade das evidências em três dimensões: confiabilidade, relevância e factualidade.
- O framework substitui a recuperação padrão por um ambiente sintético para controlar a confiabilidade dos documentos.
- Testes no HotpotQA e BrowseCompPlus revelam diferenças substanciais na forma como os agentes lidam com informações não confiáveis.
- O estudo propõe novas métricas para documentar melhor os resultados do sistema e as interações entre conhecimento paramétrico e recuperado.
Este trabalho aborda a robustez pouco explorada de agentes de busca frente a evidências de baixa qualidade, o que pode levar a falhas dramáticas em aplicações reais apesar de um bom desempenho em benchmarks realistas.