높은 추론 노력을 갖춘 OpenAI의 o1 모델이 Aider가 새로 출시한 다국어 벤치마크에서 최고 점수를 달성하여 다른 주요 대규모 언어 모델을 크게 앞질렀습니다. 이 업데이트된 벤치마크는 오늘날 가장 강력한 코딩 모델의 능력을 더 잘 구분하기 위해 이전 버전보다 훨씬 어렵도록 설계되었습니다.

  • 새로운 벤치마크는 C++, Go, Java, JavaScript, Python 및 Rust에서 Exercism의 가장 어려운 225개 연습 문제를 사용합니다.
  • 테스트된 모든 모델이 해결할 수 있는 쉬운 문제를 제외하여 약 5%에서 50% 사이의 더 넓은 점수 범위를 만듭니다.
  • o1은 62%의 최고 점수를 기록하며 미래 모델 발전을 위해 86개의 미해결 문제를 남겼습니다.
  • 이 벤치마크는 점수가 80%에 가까워진 이전 Python 전용 벤치마크의 포화 상태를 해결하기 위해 설계되었습니다.

저자들은 이 재보정이 향후 LLM을 위한 여지를 제공하고 상위 코딩 모델 간의 상대적 성능을 더 명확하게 비교할 수 있게 해주기 때문에 중요하다고 생각합니다.