Benchmark · agentic
SWE-bench Pro
نسخة أصعب ومقاوِمة للتلوث من SWE-bench مقدّمة من Scale AI. تعتمد على ~1,865 مشكلة حقيقية من GitHub مأخوذة من مستودعات مؤسسية وناشئة ومفتوحة المصدر مُستبعَدة لم تُدرَّب عليها النماذج، وعادةً ما تمتد الإصلاحات عبر عدة ملفات.
اقرأ المزيد
- مثال
- عند إعطاء مشكلة حقيقية والمستودع كاملًا، يجب على الوكيل إنتاج رقعة (patch) — غالبًا تمسّ عدة ملفات — كي تنجح مجموعة الاختبارات المخفية للمشروع. تأتي المشكلات من مستودعات خاصة وتجارية تحديدًا لتفادي تسرّب بيانات التدريب.
- طريقة التقييم
- النسبة المئوية للمشكلات التي تم حلّها، وتُذكَر بصيغة pass@1 (محاولة واحدة). الأعلى أفضل. تكون النتائج أدنى منها في SWE-bench Verified لأن المهام أصعب ولم تُشاهَد من قبل.
- التحقق
- آلي بالكامل ومُستبعَد: تُطبَّق الرقعة المُولَّدة وتُشغَّل اختبارات الوحدة المخفية الحقيقية للمستودع في بيئة معزولة (sandbox). لا تُحتسَب المهمة إلا إذا نجح كل اختبار مستهدف ولم يتراجع أي شيء آخر.
- لماذا يهم
- صُمِّم ليقاوم التلوث والتشبّع اللذين يضخّمان النتائج في SWE-bench Verified، فيكون إشارة أنقى لمهارة وكيل البرمجة الحقيقية والقابلة للتعميم على كود لم يره النموذج من قبل.
مثال محلول
المهمة
المستودع
acme/payments عند commit أساسي ثابت. المشكلة: Money('0.05').allocate([1, 1, 1]) يُسقِط سنتًا واحدًا — إذ يبلغ مجموع الأجزاء الثلاثة $0.04 بدلًا من $0.05. أنتِج رقعة (patch) بحيث يعود مجموع أي توزيع دائمًا إلى المبلغ الأصلي.الحل
--- a/payments/money.py
+++ b/payments/money.py
@@ def allocate(self, ratios):
- total = sum(ratios)
- return [self._from_minor(self.minor * r // total) for r in ratios]
+ total = sum(ratios)
+ shares = [self.minor * r // total for r in ratios]
+ remainder = self.minor - sum(shares)
+ for i in range(remainder):
+ shares[i] += 1
+ return [self._from_minor(s) for s in shares]الشرح
القسمة الصحيحة (integer division) تقتطع الكسور، فتُفقَد الوحدات الصغرى المتبقية (السنتات) بصمت. يحسب الإصلاح حصة كل جزء، ثم يوزّع الباقي وحدةً وحدةً على الأجزاء الأولى، بما يضمن أن يساوي مجموع الأجزاء المُوزَّعة المجموعَ الكلي دائمًا. تتحقق الاختبارات المخفية من
sum(m.allocate(ratios)) == m عبر عدة مبالغ ونِسَب.