OpenAI의 GPT-5 Pro는 FrontierMath Tier 4 벤치마크에서 새로운 기록을 수립하며 Google의 Gemini 2.5 Deep Think보다 연구 수준의 수학 문제를 하나 더 해결했습니다. 이 평가에서는 전문 수학자들이 개발한 50개의 매우 어려운 문제에 대해 세 가지 계산 집약형 모델 설정을 수동으로 채점했습니다.

  • GPT-5 Pro는 API를 통해 6개의 문제(13%)를 해결했고 웹 앱을 통해서도 동일한 수의 문제를 해결하여 combined pass@2로 8개의 문제(17%)를 달성했습니다.
  • Gemini 2.5 Deep Think는 단 하나의 문제 차이로 근소한 패배를 기록했으며, 이 차이는 통계적으로 유의미하지 않다고 지적되었습니다.
  • Grok 4 Heavy는 다른 두 모델보다 성능에서 뒤처졌습니다.
  • 이전에 해결된 Tier 4 문제의 총수는 벤치마크의 19%에 해당하는 9개로 증가했으며, GPT-5 Pro가 해결한 8개의 문제 중 5개는 홀드아웃 세트에서 나온 것이었습니다.

이 결과는 프론티어 모델들이 연구 수준의 수학을 처리하는 능력이 점점 더 향상되고 있음을 보여주며, GPT-5 Pro가 가장 가까운 경쟁사보다 약간 앞선 것을 입증했습니다.