SWE-rebench जैसे डिकॉन्टामिनेटेड बेंचमार्क्स का उपयोग करने वाला फरवरी 2026 का विश्लेषण उन महत्वपूर्ण प्रदर्शन अंतरों को उजागर करता है जो प्रमुख एआई कोडिंग मॉडल्स के बीच मौजूद हैं और पारंपरिक स्थिर लीडरबोर्ड्स द्वारा छिपे हुए हैं। अध्ययन इस बात पर प्रकाश डालता है कि बेंचमार्क दूषितकरण कुछ मॉडल्स के स्कोर्स को बढ़ावा देता है, जिससे वे शीर्ष-स्तरीय विकल्पों के साथ प्रतिस्पर्धी दिखाई देते हैं जबकि वास्तव में ऐसा नहीं होता है।
- MiniMax M2.5 ने SWE-bench Verified पर 80.2% स्कोर किया लेकिन डिकॉन्टामिनेटेड SWE-rebench पर गिरकर 39.6% हो गया, जबकि Claude Opus 4.6 ने 51.7% के साथ आगे का नेतृत्व बनाए रखा।
- SWE-rebench पर शीर्ष 10 मॉडल्स पूरी तरह से Anthropic, OpenAI, और Google से हैं, जबकि Kimi K2 और GLM-5 जैसे चीनी मॉडल्स निचले स्थानों पर रहे।
- Gemini 3 Pro LiveCodeBench में एल्गोरिदम चुनौतियों में प्रभुत्व रखता है लेकिन बहु-फ़ाइल संपादन की आवश्यकता वाले वास्तविक दुनिया के सॉफ्टवेयर इंजीनियरिंग कार्यों में Claude Opus 4.6 से पीछे है।
- कठोर डिकॉन्टामिनेटेड बेंचमार्क्स पर बेहतर प्रदर्शन के कारण SpecWeave जटिल कार्यान्वयन के लिए Claude Opus 4.6 को डिफ़ॉल्ट रूप से चुनता है।
डेटा संकेत देता है कि टियर 1 और टियर 3 मॉडल्स के बीच का अंतर काफी बड़ा है, जहां बेहतर मॉडल्स प्रति-समस्या लागत अधिक होने के बावजूद पुनः प्रयासों और मैनुअल क्लीनअप की आवश्यकता को कम करते हैं।