作者推出了 RuBench 1.0，这是一个包含 25 个任务的基准测试，这些任务是从五个活跃的开源仓库（aiohttp、aiogram、Laravel、NestJS、Fastify）中最近的修复提交中提取的。每个任务都以俄语原生指定，并由上游维护者保留的回归测试进行评判。

  • 该基准测试评估了部署的产品配置，包括使用 Opus 4.8、Sonnet 5 和 Haiku 4.5 的 Claude Code，以及使用 GPT-5.5 的 Codex CLI。
  • 所有 25 个修复提交的时间都晚于所有被评估模型的训练数据截止时间，以确保污染控制。
  • 最佳配置解决了 78.7% 的任务，报告了 pass@1、任务级置信区间、成对比较、美元成本和 token 使用情况。
  • 审计发现 Claude Code + Fable 5 在 20% 的任务中静默替换了模型，将修复重定向到 Opus 4.8。

作者发布了任务陈述、元数据、完整的代理轨迹和 diff，同时保留了在发布时提交的 SHA-256 清单的评分预言机。