Модель OpenAI o1 с высоким уровнем рассуждений достигла высшего балла в новом полиглотном бенчмарке Aider, значительно превзойдя другие ведущие большие языковые модели. Этот обновленный бенчмарк создан значительно сложнее предыдущих версий, чтобы лучше различать возможности самых сильных современных моделей для кодинга.

  • Новый бенчмарк использует 225 самых сложных упражнений из Exercism по C++, Go, Java, JavaScript, Python и Rust.
  • Он исключает легкие задачи, решаемые всеми протестированными моделями, чтобы создать более широкий диапазон оценок примерно от 5% до 50%.
  • o1 установил высший балл в 62%, оставив 86 нерешенных задач для будущих улучшений моделей.
  • Бенчмарк был разработан для решения проблемы насыщения старых бенчмарков только на Python, где оценки приближались к 80%.

Авторы считают эту перекалибровку важной, поскольку она предоставляет пространство для будущих LLM и позволяет более четкое сравнение относительной производительности среди лучших моделей для кодинга.