تكشف دراسة لـ 2848 تشغيلًا لـ Claude Code تم فوترتها من قبل المزود عن أن تقليل السياق المسترجع أو مخرجات الأدوات لا يخفض بشكل موثوق التكلفة الفعلية المفروضة على وكلاء البرمجة. تتحدى الأبحاث مقياس التقييم الشائع المتمثل في إزالة النص من خلال تحليل حملة مكونة من 2908 تنفيذ عبر ثلاثة نماذج وسبعة مستودعات.
- هيمنت حركة مرور ذاكرة التخزين المؤقت للبرومبت على التكاليف، حيث شكلت حوالي 87% من التكاليف المعاد بناؤها و80% من الفاتورة الفعلية.
- أدى الذراع الذي أزال 38% من توكنات مخرجات الأدوات الخام المقدرة إلى تكبد تكلفة مقترنة أعلى بنسبة 6.8% مقارنةً بخط الأساس.
- تبين أن الضغط يضر بإكمال المهمة عن طريق إزالة الأدلة الحرجة للإجراء، مما قلل من نجاح تطبيق التصحيح من 27/40 إلى 15/40 في مهام Go المستمدة من SWE-bench.
يقترح المؤلفون استخدام التكلفة المفروضة المعدّلة حسب النجاح كمعيار أكثر دقة لتقييم الكفاءة بدلاً من تقليل التوكنات وحده.