शोधकर्ताओं ने TestEvo-Bench पेश किया है, जो एक लाइव बेंचमार्क है जिसे सॉफ़्टवेयर टेस्ट और कोड के सह-विकास को हैंडल करने में एजेंट्स की क्षमता का मूल्यांकन करने के लिए डिज़ाइन किया गया है। मौजूदा बेंचमार्क्स के विपरीत जो स्थैतिक मेटाडेटा पर निर्भर करते हैं, यह फ्रेमवर्क वास्तविक कमीट इतिहास और एन्वायरमेंट कॉन्फ़िगरेशन का उपयोग करता है ताकि पास रेट (pass rate) और कवरेज जैसे एक्जीक्यूटेबल मेट्रिक्स की पुष्टि की जा सके।
इस बेंचमार्क में दो ट्रैक हैं: टेस्ट जनरेशन, जहाँ एजेंट्स नए व्यवहार के लिए नए टेस्ट लिखते हैं, और टेस्ट अपडेट, जहाँ वे बदले गए कोड के लिए विफल टेस्ट को अनुकूलित करते हैं। इसमें 152 ओपन-सोर्स जावा प्रोजेक्ट्स से चुने गए 746 टेस्ट जनरेशन टास्क और 509 टेस्ट अपडेट टास्क शामिल हैं। बेंचमार्क की लाइव प्रकृति के कारण, डेटा लीकेज को कम करने के लिए मूल्यांकन को केवल उस मॉडल के ट्रेनिंग कटऑफ़ के बाद के टास्कों तक सीमित किया जा सकता है।
Claude Code, Gemini CLI और SWE-Agent को जोड़ने वाले एजेंट्स के साथ किए गए प्रयोगों ने टेस्ट जनरेशन पर 77.5% तक और टेस्ट अपडेट पर 74.6% तक सफलता दर दिखाई। हालाँकि, हालिया टास्कों और प्रति-टास्क लागत की सीमित बाधाओं के तहत प्रदर्शन काफी गिर जाता है।