Epoch AI провела независимую оценку общедоступной версии модели Google Gemini 2.5 Deep Think, оценив её способности к математическому рассуждению и производительность на таких бенчмарках, как FrontierMath.

  • Модель показала результаты уровня state-of-the-art на этапах 1–3 (29%) и этапе 4 (10%) FrontierMath, продемонстрировав улучшенные фоновые знания и вычислительную точность.
  • Два профессиональных математика охарактеризовали модель как в целом полезного научного ассистента, сопоставимого с другими моделями высшего уровня.
  • Хотя модель получила оценку, эквивалентную бронзовой медали на Международной математической олимпиаде (IMO) 2025 года, она испытывала трудности с задачами, требующими высокой креативности или сложных доказательств.
  • В оценке отмечено, что Deep Think больше полагается на концептуальные подходы в геометрии и иногда приводит неверные ссылки на математическую литературу.

В отчете подчеркиваются сильные стороны модели в выполнении сложных вычислений, а также указываются её ограничения в креативном решении проблем и фактической точности относительно источников.