Google DeepMind은 Gemini 3 Pro의 평가 방법론과 결과를 게시했으며, 이는 추론, 멀티모달 기능, 에이전트 도구 사용, 다국어 작업, 긴 컨텍스트 윈도우 전반의 성능을 평가한 것이다. 이 평가는 Gemini API를 통해 단일 시도 설정으로 pass@1 점수를 활용하며, 가능한 경우 자체 보고 또는 공식 리더보드 데이터를 사용하여 Claude Sonnet 4.5 및 GPT-5.1과 같은 경쟁 모델과 비교한다.

  • 추론 벤치마크에는 Humanity's Last Exam, ARC-AGI-2, MathArena Apex가 포함되며, 결과는 ScaleAI, ARC Prize 웹사이트 또는 matharena.ai에서 얻은 것이다.
  • 이미지 기능은 MMMU-Pro, ScreenSpotPro, CharXiv Reasoning, OmniDocBench 1.5에서 테스트되었으며, 고충실도 입력을 위해 media_resolution과 같은 특정 API 매개변수를 사용했다.
  • 비디오 성능은 Video-MMMU를 사용하여 측정했으며, 프레임당 280 토큰과 온도 0의 권장 설정을 적용했다.
  • 코드 평가는 LiveCodeBench Pro (ELO 등급), Terminal-Bench 2.0, SWE-bench Verified를 다루었으며, 후자의 경우 단일 시도 구조화를 사용했다.
  • 도구 사용은 Retail, Airline, Telecom 카테고리 전반의 τ2-bench와 Andon Labs에서 제공한 Vending-bench 2 결과를 통해 평가되었다.
  • 사실성과 긴 컨텍스트 기능은 FACTS Benchmark Suite, SimpleQA Verified, MRCR v2를 사용하여 각각 128k 및 1M 컨텍스트 윈도우로 측정했다.

이 기사는 Gemini 3 Pro가 2025년 11월 기준 평가된 벤치마크 전반에서 Gemini 2.5 Pro를 크게 상회한다고 명시한다.