Epoch AI a réalisé une évaluation tierce de la version publiquement disponible du modèle Gemini 2.5 Deep Think de Google, évaluant son raisonnement mathématique et ses performances sur des benchmarks comme FrontierMath.

  • Le modèle a obtenu des scores de pointe sur les niveaux 1–3 (29 %) et le niveau 4 (10 %) de FrontierMath, démontrant une amélioration des connaissances contextuelles et de la précision computationnelle.
  • Deux mathématiciens professionnels ont qualifié le modèle d'assistant de recherche généralement utile, largement comparable à d'autres modèles de premier plan.
  • Bien que le modèle ait obtenu un score équivalent à une médaille de bronze à l'Olympiade Internationale de Mathématiques (IMO) 2025, il a eu des difficultés avec les problèmes nécessitant une grande créativité ou des preuves complexes.
  • L'évaluation a noté que Deep Think s'appuie davantage sur des approches conceptuelles pour la géométrie et a parfois fourni des citations incorrectes de littérature mathématique.

Le rapport met en évidence les forces du modèle dans l'exécution de calculs complexes tout en soulignant ses limites en matière de résolution créative de problèmes et de précision factuelle concernant les sources.