OpenAI melakukan audit terperinci pada benchmark coding SWE-Bench Pro dan memperkirakan bahwa sekitar 30% dari tugasnya rusak karena cacat desain. Penyelidikan ini dipicu oleh kekhawatiran bahwa kesalahan evaluasi dapat misrepresented kemampuan model dan kasus keamanan, yang menyebabkan OpenAI menarik rekomendasi sebelumnya untuk mengadopsi benchmark ini.
Studi tersebut mengidentifikasi empat kategori utama masalah: tes yang terlalu ketat yang memaksakan detail implementasi tertentu, prompt yang kurang spesifik yang mengabaikan persyaratan, tes dengan cakupan rendah yang memungkinkan perbaikan tidak lengkap, dan prompt yang menyesatkan yang bertentangan dengan ekspektasi tes. Untuk mencapai temuan ini, tim menggunakan pipeline otomatis untuk menandai 286 tugas yang berpotensi rusak, yang kemudian ditinjau oleh agen penyelidik dan lima insinyur perangkat lunak berpengalaman per tugas.
OpenAI menyarankan pengembang model untuk secara hati-hati memeriksa hasil dari benchmark ini dan berharap komunitas evaluasi akan mengembangkan benchmark baru yang dikurasi khusus oleh pengembang perangkat lunak berpengalaman untuk memastikan pengawasan manusia dan keandalan yang lebih baik.