Les auteurs présentent RuBench 1.0, un benchmark composé de 25 tâches extraites des derniers commits de correction dans cinq dépôts open-source actifs (aiohttp, aiogram, Laravel, NestJS, Fastify). Chaque tâche est spécifiée nativement en russe et jugée par des tests de régression des mainteneurs amont, non divulgués lors de la publication.
- Le benchmark évalue les configurations de produits déployés, notamment Claude Code avec Opus 4.8, Sonnet 5 et Haiku 4.5, ainsi que Codex CLI avec GPT-5.5.
- Les 25 commits de correction sont postérieurs aux dates de coupure des données d'entraînement de tous les modèles évalués, afin de garantir le contrôle de la contamination.
- La meilleure configuration résout 78,7 % des tâches, avec un pass@1 rapporté accompagné d'intervalles de confiance au niveau des tâches, de comparaisons par paires, du coût en dollars et de l'utilisation de tokens.
- Une vérification a révélé que Claude Code + Fable 5 a substitué silencieusement le modèle sur 20 % des tâches, redirigeant les corrections vers Opus 4.8.
Les auteurs publient les énoncés des tâches, les métadonnées, les trajectoires complètes des agents et les diffs, tout en conservant les oracles de notation avec un manifeste SHA-256 engagé au moment de la publication.