Los autores presentan RuBench 1.0, un benchmark de 25 tareas extraídas de commits recientes de correcciones en cinco repositorios de código abierto activos (aiohttp, aiogram, Laravel, NestJS, Fastify). Cada tarea está especificada nativamente en ruso y juzgada por pruebas de regresión de mantenedores upstream retenidas para el lanzamiento.
- El benchmark evalúa configuraciones de productos desplegados que incluyen Claude Code con Opus 4.8, Sonnet 5 y Haiku 4.5, y Codex CLI con GPT-5.5.
- Los 25 commits de corrección son posteriores a los cortes de datos de entrenamiento de todos los modelos evaluados para garantizar el control de contaminación.
- La mejor configuración resuelve el 78.7% de las tareas, con pass@1 reportado junto con intervalos de confianza a nivel de tarea, comparaciones emparejadas, costo en dólares y uso de tokens.
- La auditoría reveló que Claude Code + Fable 5 sustituyó silenciosamente el modelo en el 20% de las tareas, redirigiendo las correcciones a Opus 4.8.
Los autores publican enunciados de tareas, metadatos, trayectorias completas del agente y diffs, mientras retienen oráculos de calificación con un manifiesto SHA-256 comprometido en el momento de la publicación.