OpenAIはSWE-Bench Proコーディングベンチマークの詳細な監査を実施し、そのタスクの約30%が設計上の欠陥により壊れていると推定した。この調査は、評価エラーがモデルの能力や安全性のケースを誤って表現する可能性があるという懸念から促され、OpenAIはこのベンチマークの採用に関する以前の推奨を取り下げることとなった。

研究では4つの主要な問題カテゴリが特定された：特定の処理詳細を強制する厳しすぎるテスト、要件を省略した不十分なプロンプト、不完全な修正を許容する低カバレッジのテスト、およびテストの期待と矛盾する誤解を招くプロンプトである。これらの知見に達するために、チームは286件の潜在的に壊れたタスクをフラグ付けするために自動化されたパイプラインを使用し、その後各タスクごとに調査エージェントと5人の経験豊富なソフトウェアエンジニアがレビューを行った。

OpenAIはモデル開発者に対し、このベンチマークからの結果を注意深く検討するよう助言し、評価コミュニティがより良い人間の監督と信頼性を確保するために経験豊富なソフトウェア開発者によって特別にキュレーションされた新しいベンチマークを開発することを望んでいる。