Анализ, проведённый в феврале 2026 года с использованием очищенных бенчмарков, таких как SWE-rebench, обнаружил значительные пробелы в производительности между ведущими ИИ-моделями для программирования, которые маскируются традиционными статическими рейтингами. Исследование показывает, как загрязнение бенчмарков завышает оценки некоторых моделей, делая их конкурентоспособными по сравнению с моделями высшего уровня, хотя на самом деле это не так.
- MiniMax M2.5 набрал 80,2% на SWE-bench Verified, но его результат упал до 39,6% на очищенном SWE-rebench, в то время как Claude Opus 4.6 сохранил лидерство с показателем 51,7%.
- Десятка лучших моделей на SWE-rebench состоит исключительно из разработок Anthropic, OpenAI и Google, при этом китайские модели, такие как Kimi K2 и GLM-5, занимают более низкие позиции.
- Gemini 3 Pro доминирует в алгоритмических задачах LiveCodeBench, но уступает Claude Opus 4.6 в реальных задачах программной инженерии, требующих редактирования нескольких файлов.
- SpecWeave по умолчанию использует Claude Opus 4.6 для сложных реализаций из-за его превосходной производительности на строгих очищенных бенчмарках.
Данные указывают на существенный разрыв между моделями первого и третьего уровней, при этом более качественные модели сокращают необходимость в повторных попытках и ручной очистке, несмотря на более высокие затраты на каждую задачу.