Les benchmarks désinfectés révèlent un écart de 12 points entre les meilleurs modèles de codage IA

Une analyse de février 2026 utilisant des benchmarks désinfectés comme SWE-rebench expose des écarts de performance significatifs entre les principaux modèles de codage IA, masqués par les classements statiques traditionnels. L'étude met en évidence comment la contamination des benchmarks gonfle les scores de certains modèles, leur donnant l'apparence d'être compétitifs face aux options de premier plan alors qu'ils ne le sont pas.

• MiniMax M2.5 a obtenu 80,2 % sur SWE-bench Verified mais est tombé à 39,6 % sur le SWE-rebench désinfecté, tandis que Claude Opus 4.6 maintenait sa tête de liste à 51,7 %.
• Les 10 premiers modèles sur SWE-rebench proviennent exclusivement d'Anthropic, OpenAI et Google, les modèles chinois comme Kimi K2 et GLM-5 se classant plus bas.
• Gemini 3 Pro domine les défis algorithmiques de LiveCodeBench mais devance Claude Opus 4.6 dans les tâches réelles d'ingénierie logicielle nécessitant des modifications multi-fichiers.
• SpecWeave utilise par défaut Claude Opus 4.6 pour les implémentations complexes en raison de ses performances supérieures sur les benchmarks rigoureux désinfectés.

Les données suggèrent que l'écart entre les modèles de Tier 1 et Tier 3 est substantiel, les meilleurs modèles réduisant le besoin de retours et de nettoyage manuel malgré des coûts plus élevés par problème.