Google DeepMind telah mempublikasikan metodologi dan hasil evaluasi Gemini 3 Pro, menilai kinerjanya dalam penalaran, kemampuan multimodal, penggunaan alat agentic, tugas multibahasa, dan jendela konteks panjang. Evaluasi ini menggunakan skor pass@1 dengan pengaturan percobaan tunggal melalui API Gemini, membandingkan model tersebut terhadap pesaing seperti Claude Sonnet 4.5 dan GPT-5.1 menggunakan data papan peringkat yang dilaporkan sendiri atau resmi jika tersedia.
- Benchmark penalaran mencakup Humanity's Last Exam, ARC-AGI-2, dan MathArena Apex, dengan hasil bersumber dari ScaleAI, situs web ARC Prize, atau matharena.ai.
- Kemampuan gambar diuji pada MMMU-Pro, ScreenSpotPro, CharXiv Reasoning, dan OmniDocBench 1.5, menggunakan parameter API tertentu seperti media_resolution untuk input berfidelitas tinggi.
- Kinerja video diukur menggunakan Video-MMMU dengan pengaturan yang direkomendasikan sebesar 280 tok/frame dan suhu 0.
- Evaluasi kode mencakup LiveCodeBench Pro (peringkat ELO), Terminal-Bench 2.0, dan SWE-bench Verified, menggunakan scaffolding percobaan tunggal untuk yang terakhir.
- Penggunaan alat dinilai melalui τ2-bench di kategori Ritel, Penerbangan, dan Telekomunikasi, bersama dengan hasil Vending-bench 2 dari Andon Labs.
- Factualitas dan kemampuan konteks panjang diukur menggunakan FACTS Benchmark Suite, SimpleQA Verified, dan MRCR v2 untuk jendela konteks 128k dan 1M.
Artikel tersebut menyatakan bahwa Gemini 3 Pro secara signifikan mengungguli Gemini 2.5 Pro di berbagai benchmark yang dievaluasi hingga November 2025.