Исследователи представляют SWE-rebench V2, независимый от языка автоматизированный конвейер, предназначенный для сбора исполняемых реальных задач инженерии программного обеспечения и создания сред обучения с подкреплением в больших масштабах. Система синтезирует специфичные для репозитория процедуры установки и тестирования с помощью интерактивного агента настройки и фильтрует ненадежные экземпляры с помощью ансамбля судей на основе LLM.
- Создает набор данных из 32 079 задач, охватывающих 20 языков и 3 617 репозиториев, с предварительно собранными образами для воспроизводимого выполнения.
- Выпускает более 120 000 дополнительных задач с инструкциями по установке, тестами от сбоя к успешному прохождению и богатыми метаданными, полученными из описаний pull request.
- Предоставляет диагностические метаданные на уровне экземпляров для выявления общих помех, таких как слишком строгие тесты и недостаточно специфицированные описания.
- Проверяет собранные экземпляры через диагностическое исследование, охватывающее пять языков программирования в рамках семи популярных моделей.
Выпуск наборов данных, кода сбора и связанных артефактов позволяет проводить масштабное обучение агентов SWE на разнообразных языках и репозиториях.