تُظهر اختبارات إضافي وكيل البرمجة أن توفير الرموز لا يعادل تخفيض التكاليف

أظهر تحليل مهام وكيل البرمجة باستخدام GPT-5.6-sol و Codex CLI 0.144.1 أن تقليل رموز السياق بنسبة 90% لا يؤدي إلى توفير متناسب في التكلفة للمهمة الكاملة.

• أظهر مقياس إعادة كتابة المستودع الذي يقارن بين عدم وجود إضافة، و Ponytail، وإضافات RTK المعزولة فروقاً ضئيلة في التكلفة على الرغم من اختلاف عدد الرموز.
• حققت Ponytail رموزاً أقل بنسبة 7.56% وتكلفة أقل بنسبة 8.87% لكنها تطلبت مدة أطول بنسبة 13.51% مقارنةً بخط الأساس.
• أسفرت RTK عن زيادة في الرموز بنسبة 13.20% وزيادة في التكلفة بنسبة 7.18% مع زيادة عدد الجولات بنسبة 44% مقارنةً بخط الأساس.
• شكلت المدخلات المخزنة 96.46% من الرموز و 63.91% من التكلفة، بينما كانت مخرجات النموذج تمثل فقط 0.38% من الرموز.
• يشير التباين العالي بين التشغيلات (30-51%) إلى أن التغييرات المتوسطة الصغيرة غير ذات أهمية مقارنة بالتقلبات الطبيعية.

يجادل المؤلف بأن أدوات توفير الرموز يجب تقييمها بناءً على التكلفة لكل مهمة مكتملة وموثقة، بما في ذلك تباين التشغيلات المتكررة، وزمن الاستجابة، ومقاييس الجودة.