Benchmark · agentic
SWE-bench Pro
Scale AI द्वारा बनाया गया SWE-bench का एक अधिक कठिन, contamination-प्रतिरोधी संस्करण। यह ~1,865 वास्तविक GitHub issues को ऐसे held-out एंटरप्राइज़, स्टार्टअप और ओपन-सोर्स repositories से लेता है जिन पर मॉडलों को प्रशिक्षित नहीं किया गया था, और सुधार आमतौर पर कई फ़ाइलों में फैले होते हैं।
और पढ़ें
- उदाहरण
- एक वास्तविक issue और पूरी repository दिए जाने पर, एजेंट को एक patch तैयार करना होता है — जो अक्सर कई फ़ाइलों को छूता है — ताकि प्रोजेक्ट का छिपा हुआ test suite पास हो जाए। समस्याएँ खास तौर पर private और वाणिज्यिक repos से आती हैं ताकि training-data leakage से बचा जा सके।
- स्कोरिंग
- हल किए गए issues का %, जो pass@1 (एक प्रयास) के रूप में रिपोर्ट किया जाता है। अधिक बेहतर है। स्कोर SWE-bench Verified की तुलना में कम रहते हैं क्योंकि कार्य अधिक कठिन और पहले कभी न देखे गए होते हैं।
- सत्यापन
- पूरी तरह स्वचालित और held-out: तैयार किया गया patch लागू किया जाता है और repository के वास्तविक छिपे हुए unit tests एक sandbox में चलाए जाते हैं। कोई कार्य तभी गिना जाता है जब हर लक्षित test पास हो और बाकी कुछ भी regress न हो।
- यह क्यों मायने रखता है
- इसे उस contamination और saturation का प्रतिरोध करने के लिए बनाया गया है जो SWE-bench Verified पर स्कोर को बढ़ा-चढ़ा देते हैं, इसलिए यह ऐसे कोड पर वास्तविक, सामान्यीकृत होने वाले coding-agent कौशल का एक साफ़ संकेत है जिसे मॉडल ने कभी नहीं देखा।
हल किया गया उदाहरण
कार्य
एक निश्चित base commit पर Repository
acme/payments। Issue: Money('0.05').allocate([1, 1, 1]) एक cent गिरा देता है — तीनों भागों का योग $0.04 होता है, न कि $0.05। एक patch तैयार करें ताकि किसी भी आवंटन का योग हमेशा मूल राशि पर वापस आ जाए।समाधान
--- a/payments/money.py
+++ b/payments/money.py
@@ def allocate(self, ratios):
- total = sum(ratios)
- return [self._from_minor(self.minor * r // total) for r in ratios]
+ total = sum(ratios)
+ shares = [self.minor * r // total for r in ratios]
+ remainder = self.minor - sum(shares)
+ for i in range(remainder):
+ shares[i] += 1
+ return [self._from_minor(s) for s in shares]व्याख्या
Integer division छँटाई कर देता है, इसलिए बचे हुए छोटे units (cents) चुपचाप खो जाते थे। यह सुधार पहले हर हिस्से की गणना करता है, फिर शेष को एक-एक unit करके पहले वाले भागों में बाँट देता है, जिससे यह सुनिश्चित होता है कि आवंटित भागों का योग हमेशा कुल के बराबर हो। छिपे हुए tests कई राशियों और अनुपातों में
sum(m.allocate(ratios)) == m की पुष्टि करते हैं।