Google DeepMind опубликовала методологию и результаты оценки Gemini 3 Pro, проверяя её производительность в задачах рассуждений, мультимодальных возможностях, использовании агентных инструментов, многоязычных задачах и работе с длинным контекстом. Оценка использует метрику pass@1 при настройках с одной попыткой через Gemini API, сравнивая модель с конкурентами, такими как Claude Sonnet 4.5 и GPT-5.1, используя данные из самоотчетов или официальных лидербордов, где они доступны.
- В бенчмарки рассуждений вошли Humanity's Last Exam, ARC-AGI-2 и MathArena Apex, результаты взяты с ScaleAI, сайта ARC Prize или matharena.ai.
- Возможности работы с изображениями тестировались на MMMU-Pro, ScreenSpotPro, CharXiv Reasoning и OmniDocBench 1.5 с использованием специфических параметров API, таких как media_resolution для высокоточных входных данных.
- Производительность видео измерялась с помощью Video-MMMU при рекомендуемой настройке 280 токенов на кадр и температуре 0.
- Оценка кода охватывала LiveCodeBench Pro (рейтинг ELO), Terminal-Bench 2.0 и SWE-bench Verified, применяя одноэтапную структуру для последнего.
- Использование инструментов оценивалось через τ2-bench в категориях Retail, Airline и Telecom, а также по результатам Vending-bench 2 от Andon Labs.
- Фактологичность и работа с длинным контекстом измерялись с помощью FACTS Benchmark Suite, SimpleQA Verified и MRCR v2 для окон контекста 128k и 1M.
В статье указано, что Gemini 3 Pro значительно превосходит Gemini 2.5 Pro по всем оцененным бенчмаркам на ноябрь 2025 года.