أجرت OpenAI تدقيقاً مفصلاً لمعيار الترميز SWE-Bench Pro وقيّمت أن حوالي 30% من مهامه معطلة بسبب عيوب في التصميم. وقد دُفعت التحقيق إلى القيام به مخاوف من أن أخطاء التقييم قد تسيء تمثيل قدرات النماذج وقضايا السلامة، مما دفع OpenAI إلى سحب توصيتها السابقة بتبني هذا المعيار.
حدّدت الدراسة أربع فئات رئيسية من المشكلات: اختبارات صارمة للغاية تفرض تفاصيل تنفيذ محددة، ومطالبات غير محددة بشكل كافٍ تتجاهل المتطلبات، واختبارات منخفضة التغطية تسمح بإصلاحات غير كاملة، ومطالبات مضللة تتعارض مع توقعات الاختبار. للوصول إلى هذه النتائج، استخدم الفريق خط أنابيب آلي لتحديد 286 مهمة محتملة العطل، والتي تم مراجعتها بعد ذلك بواسطة وكلاء تحقيق وخمسة مهندسي برمجيات ذوي خبرة لكل مهمة.
توصي OpenAI مطوري النماذج بفحص نتائج هذا المعيار بعناية وتأمل أن يطور مجتمع التقييم معايير جديدة يتم انتقاؤها خصيصاً من قبل مهندسي برمجيات ذوي خبرة لضمان إشراف بشري أفضل وموثوقية.