Para penulis memperkenalkan DeepStress, sebuah kerangka kerja untuk menguji stres agen pencarian mendalam dengan mengganti modul pengambilan mereka dengan lingkungan sintetis yang terkontrol. Pendekatan ini memungkinkan peneliti memanipulasi frekuensi dan kualitas bukti di tiga dimensi: keandalan, relevansi, dan faktualitas.
- Kerangka kerja mengganti pengambilan standar dengan lingkungan sintetis untuk mengendalikan keandalan dokumen.
- Pengujian pada HotpotQA dan BrowseCompPlus mengungkapkan perbedaan substansial dalam cara agen menangani informasi yang tidak dapat diandalkan.
- Studi ini mengusulkan metrik baru untuk mendokumentasikan hasil sistem dan interaksi antara pengetahuan parametrik dan yang diambil lebih baik.
Karya ini mengatasi ketangguhan agen pencarian terhadap bukti berkualitas buruk yang kurang dieksplorasi, yang dapat menyebabkan kegagalan dramatis dalam aplikasi dunia nyata meskipun berkinerja baik pada benchmark yang realistis.