Le modèle o1 d'OpenAI avec un effort de raisonnement élevé a obtenu le meilleur score sur le nouveau benchmark polyglote d'Aider, surpassant significativement les autres grands modèles de langage leaders. Ce benchmark mis à jour est conçu pour être beaucoup plus difficile que les versions précédentes afin de mieux distinguer les capacités des modèles de codage les plus forts actuels.

  • Le nouveau benchmark utilise 225 des exercices les plus difficiles d'Exercism en C++, Go, Java, JavaScript, Python et Rust.
  • Il exclut les problèmes faciles résolubles par tous les modèles testés pour créer une plage de scores plus large entre environ 5 % et 50 %.
  • o1 a établi un score maximal de 62 %, laissant 86 problèmes non résolus pour les avancées futures des modèles.
  • Le benchmark a été conçu pour répondre à la saturation des anciens benchmarks uniquement Python où les scores approchaient les 80 %.

Les auteurs considèrent cette recalibration importante car elle offre une marge de progression pour les futurs LLM et permet une comparaison plus claire des performances relatives parmi les meilleurs modèles de codage.