Para penulis memperkenalkan RuBench 1.0, sebuah benchmark yang terdiri dari 25 tugas yang diambil dari commit perbaikan terbaru di lima repositori open-source aktif (aiohttp, aiogram, Laravel, NestJS, Fastify). Setiap tugas ditentukan secara asli dalam bahasa Rusia dan dinilai oleh tes regresi pemelihara upstream yang tidak dipublikasikan saat rilis.
- Benchmark ini mengevaluasi konfigurasi produk yang telah diterapkan, termasuk Claude Code dengan Opus 4.8, Sonnet 5, dan Haiku 4.5, serta Codex CLI dengan GPT-5.5.
- Semua 25 commit perbaikan memiliki tanggal setelah batas data pelatihan dari setiap model yang dievaluasi untuk memastikan kontrol kontaminasi.
- Konfigurasi terbaik menyelesaikan 78,7% tugas, dengan pass@1 dilaporkan bersama interval kepercayaan tingkat tugas, perbandingan berpasangan, biaya dolar, dan penggunaan token.
- Audit mengungkapkan bahwa Claude Code + Fable 5 secara diam-diam mengganti model pada 20% tugas, mengalihkan perbaikan ke Opus 4.8.
Para penulis merilis pernyataan tugas, metadata, lintasan agen lengkap, dan diff, sambil menahan oracle penilaian dengan manifest SHA-256 yang dikommit saat publikasi.