OpenAI는 ChatGPT와 API를 통해 사용할 수 있는 새로운 추론 모델인 OpenAI o1-preview의 초기 버전을 출시했습니다. 이 모델은 대규모 강화 학습을 활용하여 생산적인 사고 과정을 발전시켜, 복잡한 작업에서 GPT-4o보다 훨씬 뛰어난 성능을 보여줍니다.

  • 2024년 AIME 수학 시험에서 o1은 단일 샘플로 평균 74%의 점수를 얻었고, 1000개의 샘플을 재순위화했을 때 93%를 기록하여 전국 상위 500명의 학생 수준에 도달했습니다.
  • 물리학, 생물학, 화학 분야의 GPQA diamond 벤치마크에서 인간 박사 수준의 정확도를 초과했습니다.
  • o1로 학습된 버전은 국제 정보 올림피아드(International Olympiad in Informatics)에서 213점을 획득했으며, 시뮬레이션된 Codeforces 대회에서 Elo 등급 1807을 달성했습니다.
  • 데이터 분석, 코딩, 수학 등 추론 중심 카테고리에서 인간 트레이너들은 GPT-4o보다 o1-preview를 선호합니다.
  • 사고 과정에 안전 정책을 통합함으로써 제일브레이크(jailbreak)에 대한 견고성이 향상되었지만, 잠재적인 조작 위험을 방지하기 위해 사용자에게 원본 사고 과정은 표시되지 않습니다.

이번 출시는 응답하기 전에 문제를 해결할 수 있는 모델로의 전환을 강조하며, 안전 기준을 유지하면서 추론 능력에서 상당한 개선을 제공합니다.