研究人员推出了 SWE-rebench V2，这是一个与语言无关的自动化管道，旨在收集可执行的真实软件工程任务并大规模构建强化学习环境。该系统通过交互式设置代理合成特定仓库的安装和测试流程，并使用 LLM 裁判集成过滤不合理的实例。

  • 构建了一个包含 32,079 个任务的数据库，涵盖 20 种语言和 3,617 个仓库，并提供了用于可重复执行的预构建镜像。
  • 发布了超过 120,000 个额外任务，附带安装说明、从失败到通过的测试以及源自拉取请求描述的丰富元数据。
  • 提供实例级别的诊断元数据，以标记常见的混淆因素，如过于严格的测试和描述不充分的问题。
  • 通过涵盖七种流行模型中五种编程语言的诊断研究来验证收集的实例。

数据集、收集代码和相关工件的发布使得跨多种语言和仓库的大规模 SWE 代理训练成为可能。