GPT-5.6-solおよびCodex CLI 0.144.1を用いたコーディングエージェントタスクの分析により、コンテキストトークンを90%削減しても、タスク全体の費用に対して比例した節約にはならないことが示された。

  • プラグインなし、Ponytail、分離型RTKプラグインを比較したリポジトリ書き換えベンチマークでは、トークン数にばらつきがあったにもかかわらず、コストの差は最小限にとどまった。
  • Ponytailはベースラインと比較して7.56%少ないトークンと8.87%低いコストを実現したが、実行時間は13.51%長くなった。
  • RTKはベースラインと比較して13.20%多いトークンと7.18%高いコストとなり、ラウンド数は44%増加した。
  • キャッシュされた入力はトークンの96.46%とコストの63.91%を占め、モデルの出力はトークンのわずか0.38%に過ぎなかった。
  • 実行間のばらつきが大きい（30〜51%）ことから、平均値のわずかな変化は自然な変動と比較して無意味であることが示唆される。

著者は、トークン削減ツールは、反復実行のばらつき、レイテンシ、品質指標を含め、検証済み完了タスクあたりのコストを基準に評価されるべきだと主張している。