OpenAIの新言語モデルo3は、Epoch AIによってキュレーションされた数百の難しい数学問題からなる秘密のデータセットであるFrontierMathで25%のスコアを獲得した。このデータセットは、モデルが公開されている解答を単に暗記するのを防ぐために設計され、自動検証可能な決定論的で計算可能な答えを持つ問題で構成されている。

  • FrontierMathには「数百」の難問が含まれており、当初は200未満の問題が公開され、その後さらに追加された。
  • 公開されている5つのサンプル問題は、9811や367707のような正の整数を答えとし、p進連続性やウェイル予想などの複雑な概念を含んでいる。
  • 著者は算数の専門知識を用いて公開された5問のうち2問を解くことができたが、通常の優秀な数学専攻の学部生でも1問にすら苦戦するだろうと指摘した。
  • Epoch AIのエリオット・グレイザーは、データセットの25%が「IMO/学部生レベルの問題」で構成されていると示唆し、全体的な難易度や公開サンプルの代表性について疑問を投げかけた。

この成果は重要である。なぜなら、数学におけるAIの分野には難問データセットが不足しており、そのようなベンチマークを作成するのは困難で高コストだからだ。著者はこのスコアに驚愕し、AIがオリンピックスタイルの問題で急速に進歩している一方で、高度な学部生や博士課程レベルの革新は以前は遠い目標と考えられていたと述べた。