يقدم الباحثون إطار عمل ExecCritic، الذي يجمع بين هيكل اختبار-تحقق-مراجعة وتعزيز التعلم المحدد للدور لتعزيز وكلاء البرمجة. يفصل النظام بين بناء الاختبار وإصلاح الشفرة المصدرية، باستخدام وكيل اختبار لتوليد اختبارات أصلية للمستودع ووكيل إصلاح لمراجعة الكود استنادًا إلى ملاحظات التنفيذ.

  • يستخدم الهيكل Qwen-3.5-35B-A3B كعمود فقري لكلا الدورين، ويُدرَّب بشكل منفصل.
  • يتعلم وكيل الاختبار إنتاج اختبارات صالحة سلوكيًا تميز بين التصحيحات الصحيحة والخاطئة.
  • يتعلم وكيل الإصلاح حل المهمة مباشرةً ومراجعة موجهة بالملاحظات.
  • على SWE-bench Verified، رفعت الاختبارات من وكيل اختبار Qwen بعد التدريب معدل الحل إلى 72.6٪، وهو تحسن بنقطة 11.4 مقارنة بخط الأساس بدون اختبارات.

يرى المؤلفون أن هذا مهم لأن جودة الاختبار تحدد ما إذا كانت ملاحظات التنفيذ تساعد، ويحقق ExecCritic مكاسب كبيرة دون الحاجة إلى نماذج أقوى أو ملاحظات Oracle أثناء التقييم.