يقدم المؤلفون DeepStress، وهو إطار عمل لاختبار وكلاء البحث العميق تحت الضغط عن طريق استبدال وحدات الاسترجاع الخاصة بهم ببيئة اصطناعية خاضعة للتحكم. يتيح هذا النهج للباحثين التلاعب بتردد وجودة الأدلة عبر ثلاثة أبعاد: الموثوقية، والصلة، والدقة.
- يستبدل الإطار عمل الاسترجاع القياسي ببيئة اصطناعية للتحكم في موثوقية المستندات.
- تكشف الاختبارات على HotpotQA و BrowseCompPlus عن اختلافات كبيرة في كيفية تعامل الوكلاء مع المعلومات غير الموثوقة.
- تقترح الدراسة مقاييس جديدة لتوثيق نتائج النظام والتفاعلات بين المعرفة البارامترية والمعرفة المسترجعة بشكل أفضل.
يعالج هذا العمل متانة وكلاء البحث ضد الأدلة ذات الجودة الرديئة، وهي منطقة لم تُستكشف بشكل كافٍ، والتي يمكن أن تؤدي إلى فشل كبير في التطبيقات الواقعية على الرغم من الأداء الجيد على معايير واقعية.