يقدم الباحثون TestEvo-Bench، وهو معيار حي مصمم لتقييم مدى قدرة الوكلاء على التعامل مع التطور المشترك لاختبارات البرمجيات والكود. وعلى عكس المعايير الحالية التي تعتمد على البيانات الوصفية الثابتة، يستخدم هذا الإطار سجلات الالتزام الفعلية وتكوينات البيئة للتحقق من المقاييس القابلة للتنفيذ مثل معدل النجاح والتغطية.
يتضمن المعيار مسارين: توليد الاختبارات، حيث يكتب الوكلاء اختبارات جديدة لسلوك جديد، وتحديث الاختبارات، حيث يقومون بتكييف الاختبارات الفاشلة مع الكود المتغير. يحتوي على 746 مهمة لتوليد الاختبارات و509 مهمة لتحديث الاختبارات تم انتقاؤها من 152 مشروعًا مفتوح المصدر بلغة Java. يسمح الطابع الحي للمعيار بإجراء تقييم مقصور على المهام التي تلي تاريخ توقف تدريب النموذج، مما يقلل من تسرب البيانات.
أظهرت التجارب مع وكلاء يجمعون بين Claude Code وGemini CLI وSWE-Agent معدلات نجاح تصل إلى 77.5% في توليد الاختبارات و74.6% في تحديث الاختبارات. ومع ذلك، تنخفض الأداء بشكل كبير في المهام الحديثة وتحت قيود التكلفة المحددة لكل مهمة.