OpenAI发布了其新推理模型的早期版本OpenAI o1-preview，可用于ChatGPT并通过API调用。该模型利用大规模强化学习来培养高效的思维链能力，在复杂任务上显著优于GPT-4o。

  • 在2024年AIME数学考试中，o1单样本平均得分74%，对1000个样本重排序后得分93%，使其排名进入全国前500名学生之列。
  • 该模型在GPQA diamond物理、生物和化学基准测试中超越了人类博士水平的准确率。
  • 基于o1训练的变体在国际信息学奥林匹克竞赛中获得213分，并在模拟Codeforces比赛中达到1807的Elo评级。
  • 在数据分析、编码和数学等重度推理类别中，人类训练者更偏好o1-preview而非GPT-4o。
  • 将安全策略整合到思维链中提高了对越狱攻击的鲁棒性，但出于防止潜在操纵风险考虑，原始思维链不向用户展示。

此次发布标志着向能够在回应前进行问题思考的模型的转变，在保持安全标准的同时大幅提升了推理能力。