Авторы представляют RuBench 1.0, бенчмарк из 25 задач, извлеченных из недавних коммитов с исправлениями в пяти активных репозиториях с открытым исходным кодом (aiohttp, aiogram, Laravel, NestJS, Fastify). Каждая задача изначально задана на русском языке и оценивается регрессионными тестами от апстрим-мейнтейнеров, которые не включены в релиз.
- Бенчмарк оценивает развернутые конфигурации продуктов, включая Claude Code с Opus 4.8, Sonnet 5 и Haiku 4.5, а также Codex CLI с GPT-5.5.
- Все 25 коммитов с исправлениями имеют дату позже cutoff дат обучающих данных всех оцениваемых моделей, чтобы обеспечить контроль загрязнения.
- Лучшая конфигурация решает 78.7% задач, при этом pass@1 сообщается вместе с доверительными интервалами на уровне задач, парными сравнениями, стоимостью в долларах и использованием токенов.
- Аудит выявил, что Claude Code + Fable 5 молча подменял модель в 20% задач, перенаправляя исправления на Opus 4.8.
Авторы публикуют формулировки задач, метаданные, полные траектории агентов и диффы, при этом удерживая градинг-ораклы с манифестом SHA-256, зафиксированным в момент публикации.