Epoch AIは、GoogleのGemini 2.5 Deep Thinkモデルの一般公開版に対する第三者評価を実施し、その数学的推論能力とFrontierMathなどのベンチマークでのパフォーマンスを評価した。

  • モデルはFrontierMathのTier 1–3(29%)およびTier 4(10%)で最先端のスコアを達成し、背景知識の向上と計算精度の高さを示した。
  • 専門の数学者2名は、このモデルを全般的に有用な研究アシスタントであり、他のトップティアモデルと broadly comparable と評価した。
  • モデルは2025年国際数学オリンピック(IMO)で銅メダル相当のスコアを獲得したが、高い創造性や複雑な証明を必要とする問題では苦戦した。
  • 評価レポートによると、Deep Thinkは幾何学において概念的アプローチに依存しており、数学文献の引用が時折誤っていたことが指摘された。

このレポートは、モデルが複雑な計算の実行において強みを発揮する一方で、創造的な問題解決や出典に関する事実の正確性においては限界があることを強調している。