يقدم المؤلفون RuBench 1.0، وهو معيار يتكون من 25 مهمة مستخرجة من أحدث عمليات التصحيح في خمسة مستودعات مفتوحة المصدر نشطة (aiohttp, aiogram, Laravel, NestJS, Fastify). كل مهمة محددة أصلاً باللغة الروسية ويُحكم عليها بواسطة اختبارات الانحدار للمحافظين الأصليين التي لم تُنشر عند الإصدار.
- يقيّم المعيار تكوينات المنتجات المُوزَّعة، بما في ذلك Claude Code مع Opus 4.8 وSonnet 5 وHaiku 4.5، وCodex CLI مع GPT-5.5.
- جميع عمليات التصحيح الـ 25 تعود إلى ما بعد حد بيانات التدريب لكل نموذج مُقيَّم لضمان التحكم في التلوث.
- الحل الأمثل يحل 78.7% من المهام، مع الإبلاغ عن pass@1 جنبًا إلى جنب مع فترات الثقة على مستوى المهمة، والمقارنات الزوجية، والتكلفة بالدولار، واستخدام الرموز (tokens).
- أظهر التدقيق أن Claude Code + Fable 5 استبدل النموذج بصمت في 20% من المهام، مما أعاد توجيه التصحيحات إلى Opus 4.8.
ينشر المؤلفون عبارات المهام، والبيانات الوصفية، ومسارات الوكلاء الكاملة، والاختلافات (diffs)، مع الاحتفاظ بوحدات التحكيم (grading oracles) مع دليل SHA-256 مُلتزم به عند النشر.