Les chercheurs présentent SWE-rebench V2, un pipeline automatisé agnostique au langage conçu pour récolter des tâches de génie logiciel du monde réel exécutables et construire des environnements d'entraînement par apprentissage par renforcement à grande échelle. Le système synthétise les procédures d'installation et de test spécifiques au dépôt via un agent de configuration interactif et filtre les instances non fondées à l'aide d'un ensemble de juges LLM.
- Construit un jeu de données de 32 079 tâches couvrant 20 langages et 3 617 dépôts avec des images pré-construites pour une exécution reproductible.
- Publie plus de 120 000 tâches supplémentaires avec des instructions d'installation, des tests fail-to-pass et des métadonnées riches dérivées des descriptions des pull requests.
- Fournit des métadonnées de diagnostic au niveau de l'instance pour signaler les confondants courants tels que les tests trop restrictifs et les descriptions insuffisamment spécifiées.
- Valide les instances collectées grâce à une étude de diagnostic couvrant cinq langages de programmation sur sept modèles populaires.
La publication des jeux de données, du code de collecte et des artefacts associés permet l'entraînement à grande échelle d'agents SWE sur divers langages et dépôts.