O Google DeepMind publicou a metodologia e os resultados da avaliação do Gemini 3 Pro, analisando seu desempenho em raciocínio, capacidades multimodais, uso de ferramentas agênticas, tarefas multilíngues e janelas de contexto longo. A avaliação utiliza pontuação pass@1 com configurações de tentativa única por meio da API Gemini, comparando o modelo contra concorrentes como Claude Sonnet 4.5 e GPT-5.1 usando dados autorreportados ou do leaderboard oficial quando disponíveis.
- Os benchmarks de raciocínio incluem Humanity's Last Exam, ARC-AGI-2 e MathArena Apex, com resultados obtidos da ScaleAI, do site do ARC Prize ou de matharena.ai.
- As capacidades de imagem foram testadas no MMMU-Pro, ScreenSpotPro, CharXiv Reasoning e OmniDocBench 1.5, utilizando parâmetros específicos da API como media_resolution para entradas de alta fidelidade.
- O desempenho em vídeo foi medido usando Video-MMMU com uma configuração recomendada de 280 tokens por frame e temperatura 0.
- A avaliação de código cobriu LiveCodeBench Pro (classificação ELO), Terminal-Bench 2.0 e SWE-bench Verified, empregando scaffolding de tentativa única para o último.
- O uso de ferramentas foi avaliado via τ2-bench nas categorias Varejo, Companhia Aérea e Telecomunicações, junto com os resultados do Vending-bench 2 da Andon Labs.
- A factualidade e as capacidades de contexto longo foram medidas usando o FACTS Benchmark Suite, SimpleQA Verified e MRCR v2 para janelas de contexto de 128k e 1M.
O artigo afirma que o Gemini 3 Pro supera significativamente o Gemini 2.5 Pro nos benchmarks avaliados até novembro de 2025.