연구자들은 실행 가능한 실제 세계 소프트웨어 엔지니어링 작업을 수집하고 규모에 맞는 강화학습 훈련 환경을 구축하기 위해 설계된 언어 비종속 자동화 파이프라인인 SWE-rebench V2를 소개했습니다. 이 시스템은 대화형 설정 에이전트를 통해 저장소별 설치 및 테스트 절차를 생성하고, LLM 판정자 앙상블을 사용하여 신뢰할 수 없는 인스턴스를 필터링합니다.

  • 재현 가능한 실행을 위한 사전 빌드 이미지가 포함된 20개 언어와 3,617개 저장소에 걸쳐 32,079개의 작업으로 구성된 데이터셋을 구축합니다.
  • 풀 리퀘스트 설명에서 파생된 설치 지침, fail-to-pass 테스트, 풍부한 메타데이터가 포함된 120,000개 이상의 추가 작업을 출시합니다.
  • 과도하게 제한적인 테스트와 불충분한 설명과 같은 일반적인 교란 요인을 표시하기 위해 인스턴스 수준의 진단 메타데이터를 제공합니다.
  • 7개의 인기 모델에 걸쳐 5개의 프로그래밍 언어를 아우르는 진단 연구를 통해 수집된 인스턴스를 검증합니다.

데이터셋, 수집 코드 및 관련 아티팩트의 출시로 다양한 언어와 저장소에서 SWE 에이전트의 대규모 학습이 가능해집니다.