高い推論努力を伴う OpenAI の o1 モデルは、Aider が新たにリリースした多言語ベンチマークで最高スコアを達成し、他の主要な大規模言語モデルを大きく上回りました。この更新されたベンチマークは、今日の最も強力なコーディングモデルの能力をより明確に区別するために、以前のバージョンよりもはるかに困難になるように設計されています。

  • 新しいベンチマークは、C++、Go、Java、JavaScript、Python、および Rust における Exercism の最も難しい 225 の演習を利用しています。
  • すべてのテスト対象モデルが解決できる簡単な問題を除外し、約 5% から 50% の間のより広いスコア範囲を作成します。
  • o1 は 62% の最高スコアを樹立し、将来のモデルの進歩のために 86 の未解決の問題を残しました。
  • このベンチマークは、スコアが 80% に近づいていた古い Python のみのベンチマークの飽和に対処するために設計されました。

著者たちは、この再較正が将来の LLM にとっての余地を提供し、トップコーディングモデル間の相対的なパフォーマンスをより明確に比較できるようにするため重要であると見なしています。