Epoch AI 对 Google 的 Gemini 2.5 Deep Think 模型的公开可用版本进行了第三方评估,评估了其在 FrontierMath 等基准测试中的数学推理能力和表现。

  • 该模型在 FrontierMath 第1–3级(29%)和第4级(10%)上取得了 state-of-the-art 分数,展示了改进的背景知识和计算精度。
  • 两位专业数学家将该模型描述为总体上有帮助的研究助手,与其他顶级模型大致相当。
  • 尽管该模型在2025年国际数学奥林匹克竞赛(IMO)中获得了相当于铜牌的分数,但在需要高度创造力或复杂证明的问题上表现挣扎。
  • 评估指出,Deep Think 在几何学上更依赖概念性方法,并且偶尔提供了错误的数学文献引用。

报告强调了该模型在执行复杂计算方面的优势,同时指出了其在创造性问题解决和关于来源的事实准确性方面的局限性。