Os autores apresentam o RuBench 1.0, um benchmark de 25 tarefas extraídas de commits recentes de correção em cinco repositórios open-source ativos (aiohttp, aiogram, Laravel, NestJS, Fastify). Cada tarefa é especificada nativamente em russo e julgada por testes de regressão de mantenedores upstream retidos para o lançamento.
- O benchmark avalia configurações de produtos implantados, incluindo Claude Code com Opus 4.8, Sonnet 5 e Haiku 4.5, e Codex CLI com GPT-5.5.
- Todos os 25 commits de correção são posteriores aos cortes de dados de treinamento de todos os modelos avaliados para garantir o controle de contaminação.
- A melhor configuração resolve 78,7% das tarefas, com pass@1 relatado junto com intervalos de confiança em nível de tarefa, comparações pareadas, custo em dólar e uso de tokens.
- A auditoria revelou que Claude Code + Fable 5 substituiu silenciosamente o modelo em 20% das tarefas, redirecionando as correções para Opus 4.8.
Os autores lançam declarações de tarefas, metadados, trajetórias completas do agente e diffs, enquanto retêm oráculos de avaliação com um manifesto SHA-256 comprometido no momento da publicação.