Los investigadores presentan SWE-rebench V2, un pipeline automatizado agnóstico al lenguaje diseñado para recopilar tareas reales de ingeniería de software ejecutables y construir entornos de entrenamiento por refuerzo a gran escala. El sistema sintetiza procedimientos de instalación y prueba específicos del repositorio mediante un agente de configuración interactivo y filtra instancias no sólidas utilizando un conjunto de jueces LLM.
- Construye un conjunto de datos de 32,079 tareas que abarcan 20 lenguajes y 3,617 repositorios con imágenes preconstruidas para una ejecución reproducible.
- Libera más de 120,000 tareas adicionales con instrucciones de instalación, pruebas de fallo a paso y metadatos ricos derivados de las descripciones de pull request.
- Proporciona metadatos de diagnóstico a nivel de instancia para marcar confundidores comunes como pruebas demasiado restrictivas y descripciones insuficientemente especificadas.
- Valida las instancias recopiladas a través de un estudio de diagnóstico que cubre cinco lenguajes de programación en siete modelos populares.
La liberación de los conjuntos de datos, el código de recolección y los artefactos asociados permite el entrenamiento a gran escala de agentes SWE en diversos lenguajes y repositorios.