Benchmark · agentic
MLE-bench
يقيس MLE-bench مدى قدرة وكلاء الذكاء الاصطناعي المستقلين على تنفيذ هندسة تعلم الآلة من طرف إلى طرف عبر 75 مسابقة Kaggle حقيقية؛ والمقياس الرئيسي هو نسبة المسابقات التي يحصل فيها تقديم الوكيل على ميدالية Kaggle (برونزية أو أفضل).
اقرأ المزيد
- مثال
- المهمة الواحدة هي مسابقة Kaggle واحدة تُسلَّم إلى الوكيل على شكل وصف للمشكلة ومجموعة بيانات تدريب وصيغة تقديم مطلوبة؛ على سبيل المثال، مسابقة تصنيف صور يجب فيها على الوكيل تدريب نموذج على صور موسومة وإخراج تنبؤات لمجموعة اختبار محجوزة.
- طريقة التقييم
- تُقيَّم كل مسابقة بمقياسها الأصلي الخاص من Kaggle (مثل AUC أو accuracy أو RMSE) على مجموعة اختبار خاصة محجوزة؛ وتوضع تلك الدرجة الخام على لوحة صدارة يُعاد بناؤها محليًا وتُحوَّل إلى ميدالية (ذهبية/فضية/برونزية/لا شيء) باستخدام عتبات المئينات في Kaggle. الرقم الرئيسي المُبلَّغ عنه هو نسبة المسابقات التي تحصل على أي ميدالية، وعادةً ما يُحسب كمتوسط عبر عدة تشغيلات.
- التحقق
- لا يُحتسب التقديم إلا إذا كان ملف تنبؤات بصيغة صحيحة أُنتِج ضمن ميزانية الحوسبة والوقت للتشغيل؛ ثم يُقيَّم محليًا مقابل التسميات الخاصة ويُقارن بعتبات الميداليات المشتقة من العدد الحقيقي للمشاركين في المسابقة. وتُفحص التشغيلات بحثًا عن مخالفات للقواعد، مثل قراءة تسميات الإجابة.
- لماذا يهم
- مسابقات Kaggle هي مسائل هندسة تعلم آلة مفتوحة تمتد لساعات — تنظيف البيانات والعمل على الخصائص واختيار النموذج والتدريب وتصحيح الأخطاء — لذا يتطلب النجاح جهدًا مستقلًا متواصلًا وليس إجابة واحدة، مما يجعل MLE-bench اختبارًا واقعيًا لما إذا كان بإمكان الوكلاء القيام بعمل مهندس تعلم الآلة.
مثال محلول
المهمة
المسابقة — تصنيف صور ثنائي. تُعطى مجموعة تدريب من صور جوية صغيرة (32×32)، كل منها موسومة بـ 1 (تحتوي على صبار عمودي) أو 0 (لا تحتوي)، إضافةً إلى مجموعة اختبار غير موسومة. أنتج submission.csv بعمودَي id و has_cactus يعطيان، لكل صورة اختبار، الاحتمال المتوقَّع لاحتوائها على صبار. مقياس التقييم: المساحة تحت منحنى ROC (AUC).
الحل
الخطوات الرئيسية: (1) تحميل الصور الموسومة وتقسيمها إلى train/validation؛ (2) بناء خط أنابيب بيانات مع تعزيز (قلب، تدوير، تطبيع)؛ (3) ضبط دقيق لـ CNN مُدرَّب مسبقًا (مثل ResNet) برأس binary-cross-entropy، مع استخدام early stopping على AUC للـ validation؛ (4) التنبؤ باحتمالات الصبار على مجموعة الاختبار وكتابة صفوف id,has_cactus في submission.csv. المُنتَج النهائي: ملف submission.csv صالح تتجاوز قيمة AUC الخاصة به على لوحة الصدارة الخاصة عتبة مئين الميدالية البرونزية.
الشرح
لا توجد 'إجابة صحيحة' وحيدة — فأي خط أنابيب يُعمِّم جيدًا بما يكفي لرفع AUC الاختبار فوق عتبة ميدالية المسابقة ينجح؛ وCNN مضبوط بدقة مع تعزيز هو نهج قوي وقياسي لتصنيف الصور الصغيرة الثنائي ويصل بموثوقية إلى AUC عالٍ. التقييم: يُقيَّم التقديم بـ AUC مقابل التسميات الخاصة المحجوزة ويُربط بميدالية عبر عتبات المئينات في Kaggle.
لا توجد درجات موثّقة لهذا الـ Benchmark بعد.