كشف تحليل فبراير 2026 باستخدام مقاييس معقمة مثل SWE-rebench عن فجوات أداء كبيرة بين نماذج البرمجة بالذكاء الاصطناعي الرائدة كانت مخفية بواسطة لوحات المتصدرين الثابتة التقليدية. تسلط الدراسة الضوء على كيفية تضخم التلوث للمقاييس للنتائج الخاصة ببعض النماذج، مما يجعلها تبدو قادرة على المنافسة مع الخيارات من الطراز الأول عندما لا تكون كذلك.
- حقق MiniMax M2.5 نتيجة 80.2% على SWE-bench Verified لكنه انخفض إلى 39.6% على SWE-rebench المعقم، بينما حافظ Claude Opus 4.6 على الصدارة بنسبة 51.7%.
- النماذج العشرة الأوائل على SWE-rebench均来自 Anthropic وOpenAI وGoogle فقط، مع تراجع نماذج صينية مثل Kimi K2 وGLM-5 في الترتيب.
- يهيمن Gemini 3 Pro على التحديات الخوارزمية في LiveCodeBench لكنه يتأخر عن Claude Opus 4.6 في مهام هندسة البرمجيات الواقعية التي تتطلب تعديلات متعددة الملفات.
- يستخدم SpecWeave بشكل افتراضي Claude Opus 4.6 للتنفيذ المعقد بسبب أدائه المتفوق على المقاييس الصارمة والمعقمة.
تشير البيانات إلى أن الفجوة بين النماذج من الفئة الأولى والفئة الثالثة كبيرة، حيث تقلل النماذج الأفضل من الحاجة إلى إعادة المحاولة والتنظيف اليدوي رغم التكاليف الأعلى لكل مشكلة.