शोधकर्ताओं ने Terminal-Bench 2.0 जारी किया है, एक बेंचमार्क जो AI एजेंट्स का मूल्यांकन करने के लिए डिज़ाइन किया गया है कठिन, यथार्थवादी कमांड-लाइन इंटरफ़ेस कार्यों पर, जिन्हें वर्तमान मापदंड अर्थपूर्ण रूप से नहीं पकड़ पाते।
बेंचमार्क में कंप्यूटर टर्मिनल वातावरण के भीतर 89 सावधानीपूर्वक चुने गए कार्य शामिल हैं, प्रत्येक में अनोखी सेटअप, मानव-लिखित समाधान और व्यापक सत्यापन परीक्षण होते हैं। मूल्यांकन परिणाम दिखाते हैं कि फ्रंटियर मॉडल और एजेंट इन कार्यों पर 65% से कम स्कोर करते हैं। लेखकों ने मॉडल और एजेंट क्षमताओं में सुधार के विशिष्ट क्षेत्रों की पहचान करने के लिए एक त्रुटि विश्लेषण किया।
डेटासेट और मूल्यांकन हार्नेस टर्मिनल वातावरण में स्वतंत्र कार्य पूर्क्ति को आगे बढ़ाने में डेवलपर्स और शोधकर्ताओं की सहायता के लिए प्रकाशित किए गए हैं।