2,848 प्रदाता-बिल किए गए Claude Code रनों के एक अध्ययन से पता चलता है कि पुनर्प्राप्त संदर्भ या टूल आउटपुट को कम करने से कोडिंग एजेंटों की वास्तविक बिल किए गए लागत में विश्वसनीय रूप से कमी नहीं आती है। शोध ने तीन मॉडलों और सात रिपॉजिटरीज़ पर 2,908 निष्पादन के अभियान का विश्लेषण करके पाठ हटाने की सामान्य मूल्यांकन मेट्रिक को चुनौती दी है।
- प्रॉम्प्ट-कैश ट्राफिक ने लागत में प्रभुत्व स्थापित किया, जो पुनर्निर्मित लागत का लगभग 87% और वास्तविक बिल का 80% था।
- एक आर्म जिसने अनुमानित कच्चे टूल-आउटपुट टोकन के 38% को हटा दिया, उसने बेसलाइन की तुलना में 6.8% अधिक युग्मित लागत झेली।
- संपीड़न ने कार्य पूर्ण होने को हानि पहुंचाई पाया क्योंकि इसने एक्शन-महत्वपूर्ण सबूत को हटा दिया, जिससे SWE-bench से व्युत्पन्न Go कार्यों में पैच लागू करने की सफलता 27/40 से घटकर 15/40 हो गई।
लेखकों ने कार्यक्षमता का मूल्यांकन करने के लिए टोकन कमी के अलावा एक अधिक सटीक मानक के रूप में सफलता-समायोजित बिल किए गए लागत का उपयोग करने का प्रस्ताव दिया है।