Epoch AI melakukan evaluasi pihak ketiga terhadap versi publik dari model Google Gemini 2.5 Deep Think, menilai penalaran matematis dan kinerjanya pada benchmark seperti FrontierMath.

  • Model ini mencapai skor state-of-the-art di Tier 1–3 (29%) dan Tier 4 (10%) FrontierMath, menunjukkan peningkatan pengetahuan latar belakang dan presisi komputasi.
  • Dua matematikawan profesional mengkarakterisasi model tersebut sebagai asisten penelitian yang umumnya membantu, secara luas sebanding dengan model-tier atas lainnya.
  • Meskipun model ini meraih skor setara medali perunggu di Olimpiade Matematika Internasional (IMO) 2025, model ini kesulitan dengan masalah yang membutuhkan kreativitas tinggi atau bukti rumit.
  • Evaluasi mencatat bahwa Deep Think lebih mengandalkan pendekatan konseptual untuk geometri dan kadang-kadang memberikan kutipan literatur matematika yang salah.

Laporan tersebut menyoroti kekuatan model dalam menjalankan perhitungan kompleks sambil mencatat keterbatasannya dalam pemecahan masalah kreatif dan akurasi faktual mengenai sumber.