Sebuah studi mengenai 2.848 eksekusi Claude Code yang ditagih oleh penyedia mengungkapkan bahwa mengurangi konteks yang diambil atau output alat tidak secara andal menurunkan biaya tagihan aktual agen pemrograman. Penelitian ini menantang metrik evaluasi umum penghapusan teks dengan menganalisis kampanye 2.908 eksekusi di tiga model dan tujuh repositori.

  • Lalu lintas cache prompt mendominasi biaya, menyumbang sekitar 87% dari biaya yang direkonstruksi dan 80% dari tagihan aktual.
  • Lengan yang menghapus 38% token output alat mentah yang diperkirakan sebenarnya menimbulkan biaya berpasangan 6,8% lebih tinggi dibandingkan dengan baseline.
  • Kompresi ditemukan merusak penyelesaian tugas dengan menghapus bukti kritis aksi, mengurangi keberhasilan penerapan patch dari 27/40 menjadi 15/40 dalam tugas Go yang diturunkan dari SWE-bench.

Para penulis mengusulkan penggunaan biaya tagihan yang disesuaikan dengan kesuksesan sebagai standar yang lebih akurat untuk mengevaluasi efisiensi daripada pengurangan token saja.