OpenAIは、ChatGPTおよびAPIを通じて利用可能な新しい推論モデル「OpenAI o1-preview」の早期バージョンをリリースした。このモデルは大規模な強化学習を活用して生産的な思考連鎖（chain-of-thought）能力を発達させ、複雑なタスクにおいてGPT-4oを大幅に上回るパフォーマンスを示している。

  • 2024年AIME数学試験では、o1は単一サンプルで平均74%、1000サンプルの再ランキングでは93%を獲得し、全国で上位500位以内の学生レベルに相当する。
  • 物理学、生物学、化学に関するGPQA diamondベンチマークにおいて、人間のPhDレベルの精度を上回った。
  • o1でトレーニングされたバージョンは、国際情報オリンピック（IOI）で213点を獲得し、模擬CodeforcesコンテストではEloレート1807を達成した。
  • データ分析、コーディング、数学など推論が重要なカテゴリにおいて、o1-previewはGPT-4oよりも人間のトレーナーに好まれた。
  • 思考連鎖に安全ポリシーを組み込むことで、ジェイルブレイクに対する堅牢性が向上したが、潜在的な操作リスクを防ぐため、生の思考連鎖はユーザーに表示されない。

今回のリリースは、回答する前に問題を考えるモデルへのシフトを示しており、安全性基準を維持しつつ推論能力を大幅に改善している。