Google DeepMind ha publicado la metodología y los resultados para evaluar Gemini 3 Pro, evaluando su rendimiento en razonamiento, capacidades multimodales, uso de herramientas agénticas, tareas multilingües y ventanas de contexto largo. La evaluación utiliza puntuación pass@1 con configuraciones de intento único a través de la API de Gemini, comparando el modelo contra competidores como Claude Sonnet 4.5 y GPT-5.1 utilizando datos de tablas de clasificación autoinformadas u oficiales cuando están disponibles.
- Las pruebas de razonamiento incluyen Humanity's Last Exam, ARC-AGI-2 y MathArena Apex, con resultados obtenidos de ScaleAI, el sitio web del Premio ARC o matharena.ai.
- Las capacidades de imagen se probaron en MMMU-Pro, ScreenSpotPro, CharXiv Reasoning y OmniDocBench 1.5, utilizando parámetros específicos de la API como media_resolution para entradas de alta fidelidad.
- El rendimiento de video se midió usando Video-MMMU con una configuración recomendada de 280 tokens por cuadro y temperatura 0.
- La evaluación de código cubrió LiveCodeBench Pro (clasificación ELO), Terminal-Bench 2.0 y SWE-bench Verified, empleando andamiaje de intento único para este último.
- El uso de herramientas se evaluó a través de τ2-bench en las categorías Retail, Airline y Telecom, junto con los resultados de Vending-bench 2 de Andon Labs.
- La factibilidad y las capacidades de contexto largo se midieron utilizando el FACTS Benchmark Suite, SimpleQA Verified y MRCR v2 para ventanas de contexto de 128k y 1M.
El artículo indica que Gemini 3 Pro supera significativamente a Gemini 2.5 Pro en las pruebas evaluadas a partir de noviembre de 2025.