OpenAIは、現実世界のソフトウェア問題を解決するAIモデルの能力をより信頼性の高く評価するために設計された、SWE-benchベンチマークの人間検証済みサブセットであるSWE-bench Verifiedをリリースした。この新しいバージョンは、以前にモデルの能力を過小評価していた欠陥に対処することで、元のSWE-benchおよびSWE-bench Liteテストセットに取って代わる。

今回のリリースには、明確に指定された問題記述と適切な範囲のユニットテストを保証するためにプロフェッショナルな開発者によって検証された500件のサンプルが含まれている。また、難易度ごとの分割を可能にするため、1,699件のサンプリング済みテスト項目すべてに対する注釈も提供されている。これにより、「簡単」(196件)と「難しい」(45件)のサブセットに分類できる。

さらに、セットアップの信頼性を向上させるためにコンテナ化されたDocker環境を使用する新しい評価ハーネスも公開された。

SWE-bench Verifiedにおいて、GPT-4oは33.2%のサンプルを解決し、最高のオープンソーススキャフォールドであるAgentlessは以前のスコアを倍増させて16%となった。