El modelo o1 de OpenAI con alto esfuerzo de razonamiento alcanzó la puntuación más alta en el nuevo benchmark políglota de Aider, superando significativamente a otros grandes modelos de lenguaje líderes. Este benchmark actualizado está diseñado para ser mucho más difícil que las versiones anteriores para distinguir mejor las capacidades de los modelos de codificación más fuertes actuales.

  • El nuevo benchmark utiliza 225 de los ejercicios más difíciles de Exercism en C++, Go, Java, JavaScript, Python y Rust.
  • Excluye problemas fáciles resolubles por todos los modelos probados para crear un rango de puntuaciones más amplio entre aproximadamente 5% y 50%.
  • o1 estableció una puntuación máxima del 62%, dejando 86 problemas sin resolver para futuros avances en modelos.
  • El benchmark fue diseñado para abordar la saturación de los benchmarks antiguos solo de Python donde las puntuaciones se acercaban al 80%.

Los autores consideran esta recalibración importante porque proporciona margen para futuros LLM y permite una comparación más clara del rendimiento relativo entre los mejores modelos de codificación.