Pesquisadores apresentam o SWE-rebench V2, um pipeline automatizado agnóstico à linguagem projetado para colher tarefas reais de engenharia de software executáveis e construir ambientes de treinamento por reforço em grande escala. O sistema sintetiza procedimentos de instalação e teste específicos do repositório por meio de um agente de configuração interativo e filtra instâncias não sólidas usando um conjunto de juízes LLM.
- Constrói um conjunto de dados de 32.079 tarefas abrangendo 20 linguagens e 3.617 repositórios com imagens pré-construídas para execução reproduzível.
- Lança mais de 120.000 tarefas adicionais com instruções de instalação, testes de falha para passagem e metadados ricos derivados de descrições de pull request.
- Fornece metadados de diagnóstico em nível de instância para sinalizar confundidores comuns, como testes excessivamente restritivos e descrições insuficientemente especificadas.
- Valida as instâncias coletadas por meio de um estudo de diagnóstico abrangendo cinco linguagens de programação em sete modelos populares.
O lançamento dos conjuntos de dados, código de coleta e artefatos associados permite o treinamento em larga escala de agentes SWE em diversas linguagens e repositórios.