2,848件のプロバイダ請求によるClaude Codeの実行に関する調査により、取得されたコンテキストやツール出力を削減しても、コーディングエージェントの実際の請求コストが確実に下がるわけではないことが明らかになった。この研究は、3つのモデルと7つのリポジトリにわたる2,908回の実行キャンペーンを分析することで、テキスト除去という一般的な評価指標に疑問を投げかける。

  • プロンプトキャッシュのトラフィックがコストを支配し、再構築されたコストの約87%、実際の請求額の80%を占めていた。
  • 推定される生ツール出力トークンの38%を削除するアームは、ベースラインと比較してペア化コストが6.8%高くなった。
  • 圧縮は、アクションに重要な証拠を除去することでタスク完了を害し、SWE-bench由来のGoタスクにおいてパッチ適用の成功率を27/40から15/40に低下させたことがわかった。

著者らは、トークン削減 alone よりも効率性の評価により正確な基準となるよう、成功調整済み請求コストの使用を提案している。