저자들은 검색 모듈을 제어된 합성 환경으로 대체하여 딥 서치 에이전트의 스트레스 테스트를 수행하는 프레임워크인 DeepStress를 소개합니다. 이 접근 방식을 통해 연구자들은 신뢰성, 관련성, 사실성의 세 차원에 걸쳐 증거의 빈도와 품질을 조작할 수 있습니다.
- 프레임워크는 표준 검색을 합성 환경으로 대체하여 문서의 신뢰성을 제어합니다.
- HotpotQA 및 BrowseCompPlus에서의 테스트는 에이전트가 신뢰할 수 없는 정보를 처리하는 방식에서 상당한 차이가 있음을 보여줍니다.
- 이 연구는 매개변수 지식과 검색된 지식 간의 상호작용을 포함하여 시스템 결과를 더 잘 문서화하기 위한 새로운 지표를 제안합니다.
이 작업은 현실적인 벤치마크에서는 잘 수행되지만 실제 응용 프로그램에서는 심각한 실패로 이어질 수 있는, 저품질 증거에 대한 검색 에이전트의 미탐구된 강건성을 다룹니다.