エージェント浪費インデックスは、11の公開データセットから34万1054件のエージェント軌道をスコアリングし、ループ、盲目的な再試行、過大なツール出力、放棄された実行などの非効率性を特定した。分析により、ループと再試行の挙動はLlamaエージェントのような弱めのモデルでは一般的であるが、Claude 3.7 SonnetやQwen3-Coder-480Bでは稀であることが明らかになった。

  • ツールの過大な出力はスキャフォールドによって大きく異なり、OpenHandsとSWE-agentは実行の半数以上で2万文字を超える観測値を保持している。
  • ステップ数による最長の五分の一の実行は、最も短い五分の一の実行よりも低い解決率であるにもかかわらず、推定コストの40%を消費する。
  • このプロジェクトは、ハブからインデックスを再構築するためのパイプラインと検出器を提供し、コミュニティによる検証のためにオンラインで表が公開されている。

著者たちはデータセットのパブリッシャー向けの修正メカニズムを提供し、コーディングエージェントのパフォーマンスにおける透明性の向上を目指している。