أقام تحدي إعادة الإنتاج المفتوح في ICML 2026، الذي استمر من 15 يوليو إلى 2 أغسطس 2026، مشاركة المجتمع في إعادة إنتاج الأوراق المقبولة باستخدام وكلاء الذكاء الاصطناعي والإشراف البشري. أسفرت هذه الجهود عن أكبر تدقيق مفتوح ومفصل لكل ادعاء على حدة لمؤتمر في التعلم الآلي حتى الآن.
- من بين الأوراق المدروسة، تم التحقق المستقل من صحة ادعاء واحد على الأقل في 51% منها، بينما كانت هناك ادعاءات مزيفة أو محل جدل في 23% منها.
- احتوت 496 ورقة على ادعاء مزيف أو محل جدل واحد على الأقل، بما في ذلك 49 حالة تم فيها زيف جميع الادعاءات و242 حالة توصل فيها الفرق إلى أحكام متعارضة.
- شملت الأخطاء المؤكدة نمو مصطلب المتانة لخوارزمية التجزئة بشكل غير صحيح، وفشل نظرية بعد الخطوة 224، واستخدام الكود لخسارة تباعد كلباك-لايبيلر (KL divergence) الخاطئة.
- سلط التحدي الضوء على أن سير العمل الذي يدمج البشر في الحلقة كان أكثر موثوقية من التنفيذ النقي للوكلاء في اكتشاف الأخطاء الدقيقة وتقييم الجودة الإدراكية.
يخلص المنظمون إلى أنه بينما يمكن للوكلاء توسيع نطاق جهود إعادة الإنتاج، يظل البشر ضروريين لتوجيه الوكلاء، وتشكك في الافتراضات، وإجراء التقييمات التي لا غنى عنها للبشر.