Uma análise de fevereiro de 2026 usando benchmarks descontaminados como SWE-rebench expõe lacunas significativas de desempenho entre os principais modelos de codificação de IA, que são mascaradas pelos rankings estáticos tradicionais. O estudo destaca como a contaminação dos benchmarks inflaciona as pontuações de alguns modelos, fazendo-os parecer competitivos com as opções de primeira linha quando não são.

  • MiniMax M2.5 obteve 80,2% no SWE-bench Verified, mas caiu para 39,6% no SWE-rebench descontaminado, enquanto Claude Opus 4.6 manteve a liderança em 51,7%.
  • Os 10 primeiros modelos no SWE-rebench são exclusivamente da Anthropic, OpenAI e Google, com modelos chineses como Kimi K2 e GLM-5 ocupando posições mais baixas.
  • Gemini 3 Pro domina os desafios algorítmicos no LiveCodeBench, mas fica atrás do Claude Opus 4.6 em tarefas reais de engenharia de software que exigem edições em múltiplos arquivos.
  • SpecWeave usa por padrão o Claude Opus 4.6 para implementações complexas devido ao seu desempenho superior em benchmarks rigorosos e descontaminados.

Os dados sugerem que a lacuna entre os modelos de Tier 1 e Tier 3 é substancial, com modelos melhores reduzindo a necessidade de novas tentativas e limpeza manual, apesar dos custos mais altos por problema.