O modelo o1 da OpenAI com alto esforço de raciocínio alcançou a pontuação mais alta no novo benchmark poliglota do Aider, superando significativamente outros grandes modelos de linguagem líderes. Este benchmark atualizado foi projetado para ser muito mais difícil que as versões anteriores para distinguir melhor as capacidades dos modelos de codificação mais fortes atuais.

  • O novo benchmark utiliza 225 dos exercícios mais difíceis do Exercism em C++, Go, Java, JavaScript, Python e Rust.
  • Ele exclui problemas fáceis solucionáveis por todos os modelos testados para criar uma faixa de pontuação mais ampla entre aproximadamente 5% e 50%.
  • o1 estabeleceu uma pontuação máxima de 62%, deixando 86 problemas não resolvidos para avanços futuros em modelos.
  • O benchmark foi projetado para abordar a saturação dos benchmarks antigos apenas de Python onde as pontuações se aproximavam de 80%.

Os autores consideram essa recalibração importante porque fornece margem para futuros LLMs e permite uma comparação mais clara do desempenho relativo entre os melhores modelos de codificação.