著者らは、検索モジュールを制御された合成環境に置き換えることで、ディープサーチエージェントのストレステストを行うためのフレームワークであるDeepStressを紹介する。このアプローチにより、研究者は信頼性、関連性、事実性の3つの次元にわたって証拠の頻度と品質を操作できる。

  • フレームワークは標準的な検索を合成環境に置き換え、文書の信頼性を制御する。
  • HotpotQAおよびBrowseCompPlusでのテストは、エージェントが信頼できない情報をどのように処理するかについて大きな違いを示した。
  • 本研究は、パラメトリック知識と取得された知識の間の相互作用を含むシステムの結果をよりよく文書化するための新しい指標を提案している。

この取り組みは、現実的なベンチマークで良好なパフォーマンスを発揮しながらも、実際のアプリケーションにおいて劇的な失敗を引き起こす可能性がある、検索エージェントの低品質な証拠に対する頑健性という未探求の領域に対処する。