Авторы представляют DeepStress, фреймворк для стресс-тестирования глубоких поисковых агентов путем замены их модулей извлечения на контролируемую синтетическую среду. Этот подход позволяет исследователям манипулировать частотой и качеством доказательств по трем измерениям: достоверностью, релевантностью и фактологичностью.
- Фреймворк заменяет стандартное извлечение данных на синтетическую среду для контроля надежности документов.
- Тестирование на HotpotQA и BrowseCompPlus выявило существенные различия в том, как агенты обрабатывают ненадежную информацию.
- В исследовании предлагаются новые метрики для более точной фиксации результатов работы системы и взаимодействия между параметрическими и извлеченными знаниями.
Эта работа решает проблему недостаточно изученной устойчивости поисковых агентов к данным низкого качества, что может приводить к серьезным сбоям в реальных приложениях, несмотря на хорошие результаты на реалистичных бенчмарках.