LLMによって維持される709ページのマークダウンWikiを対象とした事前登録されたアブレーション研究は、包括的なインデックスの代わりにコンパクトなカタログと1行の要約を使用する段階的開示が、回答品質を維持しながらコストを削減できるかどうかを検証します。実験では、プロトコル制約付きエージェント、自由な自己ルーティングエージェント、カタログプリロードレジームという3つのアクセス条件にわたって4つのコーパスバージョンを比較しています。

  • パイロット研究により、能力の高いツール使用エージェントはインデックスを完全に迂回し、質問から直接ページパスを推論することが明らかになりました。
  • 検索アームでの回答品質は、事前登録された範囲内でインデックスのベースラインと同等以上でした。
  • すべてのレジームでコストが大幅に削減されました：自己ルーティングエージェントでは約3分の1、カタログプリロード下では半分を超えて削減されました。
  • この節約は、よりターゲットを絞ったアクセスによるものであり、検索アームは参照するページ数が少なく、ツールターンも少なくて済みました。

この研究は、段階的開示が品質を犠牲にすることなくコストを削減できることを示しており、同時に脅威に対する厳格な規律を通じて評価の有効性に関するケーススタディとしても機能しています。