Benchmark yang telah didekontaminasi mengungkap kesenjangan 12 poin antara model pemrograman AI teratas

Analisis Februari 2026 menggunakan benchmark terdekontaminasi seperti SWE-rebench mengungkap kesenjangan kinerja yang signifikan antara model pemrograman AI terkemuka yang tersembunyi oleh papan peringkat statis tradisional. Studi ini menyoroti bagaimana kontaminasi benchmark membengkakkan skor untuk beberapa model, membuat mereka tampak kompetitif dengan opsi tingkat atas ketika sebenarnya tidak.

• MiniMax M2.5 mencetak 80,2% pada SWE-bench Verified tetapi turun menjadi 39,6% pada SWE-rebench yang terdekontaminasi, sementara Claude Opus 4.6 mempertahankan keunggulan di 51,7%.
• 10 model teratas di SWE-rebench berasal secara eksklusif dari Anthropic, OpenAI, dan Google, dengan model Tiongkok seperti Kimi K2 dan GLM-5 berada di peringkat yang lebih rendah.
• Gemini 3 Pro mendominasi tantangan algoritma di LiveCodeBench tetapi tertinggal dari Claude Opus 4.6 dalam tugas rekayasa perangkat lunak dunia nyata yang memerlukan pengeditan multi-file.
• SpecWeave secara default menggunakan Claude Opus 4.6 untuk implementasi kompleks karena kinerjanya yang unggul pada benchmark terdekontaminasi yang ketat.

Data menunjukkan bahwa kesenjangan antara model Tier 1 dan Tier 3 sangat besar, dengan model yang lebih baik mengurangi kebutuhan akan pengulangan dan pembersihan manual meskipun biaya per masalah lebih tinggi.