लेखकों ने RuBench 1.0 का परिचय दिया, जो पाँच सक्रिय ओपन-सोर्स रिपॉजिटरी (aiohttp, aiogram, Laravel, NestJS, Fastify) में हालिया फिक्स कमिट्स से निकाले गए 25 कार्यों का एक बेंचमार्क है। प्रत्येक कार्य प्राकृतिक रूप से रूसी भाषा में निर्दिष्ट है और अपस्ट्रीम मेंटेनर द्वारा रिलीज के लिए रोके गए रिग्रेशन टेस्ट द्वारा judged किया जाता है।
- बेंचमार्क Claude Code with Opus 4.8, Sonnet 5, और Haiku 4.5, और GPT-5.5 के साथ Codex CLI सहित डिप्लॉय किए गए उत्पाद कॉन्फ़िगरेशन का मूल्यांकन करता है।
- प्रत्येक मूल्यांकन किए गए मॉडल के ट्रेनिंग-डेटा कटऑफ से सभी 25 फिक्स कमिट्स बाद की तारीख के हैं ताकि दूषण नियंत्रण सुनिश्चित किया जा सके।
- सर्वोत्तम कॉन्फ़िगरेशन 78.7% कार्यों को हल करता है, pass@1 कार्य-स्तर के विश्वास अंतराल, युग्मित तुलनाओं, डॉलर लागत और टोकन उपयोग के साथ रिपोर्ट किया जाता है।
- ऑडिट ने दिखाया कि Claude Code + Fable 5 ने 20% कार्यों में मॉडल को चुपचाप बदल दिया, फिक्स को Opus 4.8 की ओर रीडायरेक्ट करते हुए।
लेखक कार्य विवरण, मेटाडेटा, पूर्ण एजेंट ट्रेजेक्टरी और डिफ्स जारी करते हैं, जबकि प्रकाशन समय पर committed SHA-256 मैनिफेस्ट के साथ ग्रेडिंग ऑराकल को रोके रखते हैं।