OpenAI ने SWE-Bench Pro कोडिंग बेंचमार्क का विस्तृत ऑडिट किया और अनुमान लगाया कि इसके लगभग 30% कार्य डिज़ाइन की कमियों के कारण टूटे हुए हैं। मॉडल क्षमताओं और सुरक्षा मामलों को गलत तरीके से प्रस्तुत करने के डर के कारण यह जांच शुरू की गई, जिसके परिणामस्वरूप OpenAI ने इस बेंचमार्क को अपनाने की अपनी पूर्व सिफारिश वापस ले ली।
अध्ययन में समस्याओं की चार प्रमुख श्रेणियों की पहचान की गई: विशिष्ट कार्यान्वयन विवरणों को लागू करने वाले अत्यधिक कठोर परीक्षण, आवश्यकताओं को छोड़ देने वाले अपर्याप्त रूप से निर्दिष्ट प्रॉम्प्ट, अधूरे समाधानों की अनुमति देने वाले कम-कवरेज वाले परीक्षण, और परीक्षण की उम्मीदों के विरोधी भ्रामक प्रॉम्प्ट। इन निष्कर्षों तक पहुंचने के लिए, टीम ने 286 संभावित रूप से टूटे हुए कार्यों को फ्लैग करने के लिए एक स्वचालित पाइपलाइन का उपयोग किया, जिन्हें बाद में जांच एजेंटों और प्रत्येक कार्य के लिए पाँच अनुभवी सॉफ्टवेयर इंजीनियरों द्वारा समीक्षित किया गया।
OpenAI मॉडल डेवलपर्स को इस बेंचमार्क के परिणामों का सावधानीपूर्वक अवलोकन करने की सलाह देती है और आशा करती है कि मूल्यांकन समुदाय नए बेंचमार्क विकसित करेगा जिन्हें विशेष रूप से अनुभवी सॉफ्टवेयर डेवलपर्स द्वारा संरचित किया गया हो ताकि बेहतर मानव निगरानी और विश्वसनीयता सुनिश्चित की जा सके।