تقدم دراسة تجريبية واسعة النطاق إطار عمل موجهًا للعملية لتحليل بدايات وتطور واستعادة حالات الفشل في وكلاء البرمجة عبر سطر الأوامر، مع معاملتها كعمليات زمنية بدلاً من نتائج نهائية.
- جمع الباحثون 3843 مسار تنفيذ من سبع نماذج رائدة عبر ثلاث هياكل (OpenHands وMiniSWE وTerminus2) على Terminal-Bench.
- بعد التصفية، تم توثيق 1794 مسارًا كاملاً وصالحًا يدويًا، مما يغطي أكثر من 63000 خطوة تنفيذ.
- أسفر التحليل عن 14 نتيجة تتعلق بحدوث الفشل والأسباب الجذرية والاستعادة والاتساق عبر الأنظمة.
- تُعزى حالات الفشل بشكل رئيسي إلى أخطاء معرفية، وغالبًا ما تبدأ خلال الخطوات التنفيذية القليلة الأولى، وتظل مخفية في كثير من الأحيان حتى يصبح الاستحالة ممكنة.
يجادل المؤلفون بأن تحسين موثوقية وكلاء البرمجة يتطلب التحقق والتدخل المبكرين بدلاً من الاعتماد فقط على تقييم النتيجة النهائية.