Un análisis de febrero de 2026 que utiliza benchmarks descontaminados como SWE-rebench expone brechas significativas de rendimiento entre los principales modelos de codificación con IA, las cuales están enmascaradas por los tableros de clasificación estáticos tradicionales. El estudio destaca cómo la contaminación de los benchmarks infla las puntuaciones de algunos modelos, haciéndolos parecer competitivos frente a las opciones de primer nivel cuando no lo son.

  • MiniMax M2.5 obtuvo un 80,2 % en SWE-bench Verified pero cayó al 39,6 % en el SWE-rebench descontaminado, mientras que Claude Opus 4.6 mantuvo la delantera con un 51,7 %.
  • Los 10 primeros modelos en SWE-rebench son exclusivamente de Anthropic, OpenAI y Google, con modelos chinos como Kimi K2 y GLM-5 ocupando posiciones más bajas.
  • Gemini 3 Pro domina los desafíos algorítmicos en LiveCodeBench pero queda atrás de Claude Opus 4.6 en tareas reales de ingeniería de software que requieren ediciones en múltiples archivos.
  • SpecWeave utiliza por defecto a Claude Opus 4.6 para implementaciones complejas debido a su superior rendimiento en benchmarks rigurosos descontaminados.

Los datos sugieren que la brecha entre los modelos de Nivel 1 y los de Nivel 3 es sustancial, ya que los mejores modelos reducen la necesidad de reintentos y limpieza manual a pesar de sus mayores costos por problema.