OpenAI의 새로운 언어 모델인 o3는 Epoch AI가 선별한 수백 개의 어려운 수학 문제로 구성된 비공개 데이터셋인 FrontierMath에서 25%의 점수를 기록했다. 이 데이터셋은 모델들이 공개된 해답을 단순히 암기하는 것을 방지하기 위해 설계되었으며, 자동 검증이 가능한 명확하고 계산 가능한 정답을 가진 문제들로 구성되어 있다.

  • FrontierMath에는 "수백" 개의 어려운 수학 문제가 포함되어 있으며, 처음에는 200개 미만만 공개되었고 이후 추가되었다.
  • 공개된 다섯 가지 샘플 문제는 9811 및 367707과 같은 양의 정수 답을 요구하며, p-adic 연속성과 Weil 추측과 같은 복잡한 개념을 포함한다.
  • 작성자는 산술 전문 지식을 활용하여 공개된 다섯 가지 문제 중 두 가지를 해결할 수 있었지만, 일반적인 우수한 수학 학부생이라도 한 문제를 푸는 데 어려움을 겪을 것이라고 지적했다.
  • Epoch AI의 Elliot Glazer는 데이터셋의 25%가 "IMO/학부 스타일 문제"로 구성되어 있다고 제안하며, 전체 난이도와 공개 샘플의 대표성에 대해 의문을 제기했다.

이 성과는 수학 분야의 AI 연구에서 어려운 데이터셋이 부족하고, 이러한 벤치마크를 만드는 것이 어렵고 비용이 많이 들기 때문에 중요하다. 작성자는 점수에 충격을 받았으며, AI가 올림피아드 스타일 문제에서 빠르게 발전하고 있지만, 고급 학부 수준이나 박사 수준의 혁신에 도달하는 것은 이전에는 먼 목표로 여겨졌다고 지적했다.