Epoch AI realizó una evaluación independiente de la versión públicamente disponible del modelo Google Gemini 2.5 Deep Think, evaluando su razonamiento matemático y rendimiento en benchmarks como FrontierMath.

  • El modelo logró puntuaciones state-of-the-art en los Niveles 1–3 (29%) y Nivel 4 (10%) de FrontierMath, demostrando un conocimiento de fondo mejorado y precisión computacional.
  • Dos matemáticos profesionales caracterizaron al modelo como un asistente de investigación generalmente útil, comparable a otros modelos de primer nivel.
  • Aunque el modelo obtuvo una puntuación equivalente a medalla de bronce en la Olimpiada Internacional de Matemáticas (IMO) 2025, tuvo dificultades con problemas que requieren alta creatividad o demostraciones intrincadas.
  • La evaluación señaló que Deep Think depende más de enfoques conceptuales para la geometría y ocasionalmente proporcionó citas incorrectas de literatura matemática.

El informe destaca las fortalezas del modelo en la ejecución de cálculos complejos, mientras señala sus limitaciones en la resolución creativa de problemas y la precisión factual con respecto a las fuentes.