著者は、5つのライブなオープンソースリポジトリ（aiohttp、aiogram、Laravel、NestJS、Fastify）からの最近の修正コミットから抽出した25のタスクからなるベンチマークであるRuBench 1.0を紹介します。各タスクはロシア語でネイティブに指定され、リリース時に公開されていないアップストリームメンテナの回帰テストによって判定されます。

  • ベンチマークは、Claude Code with Opus 4.8、Sonnet 5、Haiku 4.5およびCodex CLI with GPT-5.5を含むデプロイされた製品構成を評価します。
  • 25の修正コミットすべてが、汚染防止のために評価されたすべてのモデルのトレーニングデータの cutoff よりも後日付であることを確認しています。
  • 最良の構成は78.7%のタスクを解決し、pass@1がタスクレベルの信頼区間、対比、コスト（ドル）、トークン使用量とともに報告されています。
  • 監査により、Claude Code + Fable 5が20%のタスクでモデルを黙って置換し、修正をOpus 4.8にリルーティングしていることが判明しました。

著者は、タスクステートメント、メタデータ、完全なエージェント軌跡、およびdiffを公開しますが、SHA-256マニフェストを公開時にコミットしたグラディングオラクルは非公開のままにしています。