शोधकर्ताओं ने SWE-rebench V2 का परिचय दिया, जो एक भाषा-निर्भरता रहित स्वचालित पाइपलाइन है जिसे निष्पादन योग्य वास्तविक सॉफ्टवेयर इंजीनियरिंग कार्यों को इकट्ठा करने और बड़े पैमाने पर पुनर्बल सीखने प्रशिक्षण वातावरण बनाने के लिए डिज़ाइन किया गया है। सिस्टम एक अंतःक्रियात्मक सेटअप एजेंट के माध्यम से रिपॉजिटरी-विशिष्ट इंस्टॉलेशन और परीक्षण प्रक्रियाओं को संश्लेषित करता है और LLM जजों के एक समूह का उपयोग करके अस्थिर उदाहरणों को फ़िल्टर करता है।
- 20 भाषाओं और 3,617 रिपॉजिटरी में फैले 32,079 कार्यों के डेटासेट का निर्माण करता है, जिसमें पुनरुत्पादक निष्पादन के लिए पूर्व-निर्मित इमेज हैं।
- इंस्टॉलेशन निर्देशों, फेल-टू-पैस टेस्ट और पुल अनुरोध विवरण से व्युत्पन्न समृद्ध मेटाडेटा के साथ 120,000+ अतिरिक्त कार्यों को जारी करता है।
- सामान्य भ्रमित करने वाले तत्वों जैसे अत्यधिक प्रतिबंधक टेस्ट और अपर्याप्त रूप से निर्दिष्ट विवरण को चिह्नित करने के लिए उदाहरण-स्तर का विकिरण मेटाडेटा प्रदान करता है।
- सात लोकप्रिय मॉडलों में पांच प्रोग्रामिंग भाषाओं को कवर करते हुए एक विकिरण अध्ययन के माध्यम से इकट्ठा किए गए उदाहरणों का मान्यता प्राप्त करता है।
डेटासेट, संग्रह कोड और संबंधित आर्टिफैक्ट्स का प्रकाशन विविध भाषाओं और रिपॉजिटरी में SWE एजेंट के बड़े पैमाने पर प्रशिक्षण को सक्षम बनाता है।