OpenAI的新语言模型o3在FrontierMath上取得了25%的分数，该数据集是由Epoch AI精心策划的包含数百道高难度数学问题的秘密数据集。该数据集由具有明确、可计算答案的问题组成，这些答案可以自动验证，旨在防止模型仅仅背诵公开解决方案。

  • FrontierMath包含“数百”道高难度数学问题，最初发布了不到200道，随后又增加了更多。
  • 五个公开的示例问题要求正整数答案，例如9811和367707，涉及p-adic连续性、Weil猜想等复杂概念。
  • 尽管作者利用其在算术方面的专业知识解决了五道公开问题中的两道，但他指出，一个典型的聪明数学本科生可能连一道题都难以解决。
  • Epoch AI的Elliot Glazer表示，数据集的25%由“IMO/本科风格的问题”组成，这引发了关于整体难度水平和公开样本代表性的疑问。

这一成就意义重大，因为AI在数学领域的研究缺乏高难度数据集，而创建此类基准测试既困难又昂贵。作者对这一分数感到震惊，他指出，尽管AI在奥林匹克风格问题上的进步迅速，但达到高级本科或博士水平的创新此前被认为是一个遥远的目标。