Google DeepMind a publié la méthodologie et les résultats de l'évaluation de Gemini 3 Pro, évaluant ses performances en matière de raisonnement, de capacités multimodales, d'utilisation d'outils agents, de tâches multilingues et de fenêtres de contexte long. L'évaluation utilise le score pass@1 avec des paramètres à tentative unique via l'API Gemini, comparant le modèle à des concurrents tels que Claude Sonnet 4.5 et GPT-5.1 en utilisant des données de classement auto-déclarées ou officielles lorsque disponibles.
- Les benchmarks de raisonnement incluent Humanity's Last Exam, ARC-AGI-2 et MathArena Apex, avec des résultats provenant de ScaleAI, du site web ARC Prize ou matharena.ai.
- Les capacités d'image ont été testées sur MMMU-Pro, ScreenSpotPro, CharXiv Reasoning et OmniDocBench 1.5, en utilisant des paramètres API spécifiques comme media_resolution pour des entrées haute fidélité.
- La performance vidéo a été mesurée avec Video-MMMU, avec un paramètre recommandé de 280 tokens par image et une température de 0.
- L'évaluation du code a couvert LiveCodeBench Pro (classement ELO), Terminal-Bench 2.0 et SWE-bench Verified, en employant un échafaudage à tentative unique pour ce dernier.
- L'utilisation d'outils a été évaluée via τ2-bench dans les catégories Retail, Airline et Telecom, ainsi que les résultats de Vending-bench 2 d'Andon Labs.
- La factualité et les capacités de contexte long ont été mesurées à l'aide du FACTS Benchmark Suite, SimpleQA Verified et MRCR v2 pour des fenêtres de contexte de 128k et 1M.
L'article indique que Gemini 3 Pro surpasse significativement Gemini 2.5 Pro sur les benchmarks évalués en novembre 2025.