研究者らは、実行可能な実世界のソフトウェアエンジニアリングタスクを収集し、大規模な強化学習のトレーニング環境を構築するために設計された言語非依存の自動化パイプラインであるSWE-rebench V2を発表しました。このシステムはインタラクティブなセットアップエージェントを通じてリポジトリ固有のインストールとテスト手順を合成し、LLM判事のアンサンブルを用いて信頼性の低いインスタンスをフィルタリングします。

  • 再現可能な実行のためにビルド済みイメージが用意された20言語、3,617リポジトリにわたる32,079件のタスクからなるデータセットを構築します。
  • プルリクエストの説明から派生したインストール手順、fail-to-passテスト、豊富なメタデータを含む120,000件以上の追加タスクをリリースします。
  • 過度に制限の厳しいテストや不十分な説明といった一般的な交絡因子にフラグを立てるために、インスタンスレベルの診断メタデータを提供します。
  • 7つの人気モデルにわたる5つのプログラミング言語をカバーする診断研究を通じて、収集されたインスタンスを検証します。

データセット、収集コード、関連アーティファクトのリリースにより、多様な言語とリポジトリにわたるSWEエージェントの大規模トレーニングが可能になります。