Google DeepMind发布了评估Gemini 3 Pro的方法论和结果，评估其在推理、多模态能力、智能体工具使用、多语言任务和长上下文窗口方面的表现。该评估通过Gemini API使用pass@1评分及单次尝试设置，将模型与Claude Sonnet 4.5和GPT-5.1等竞争对手进行比较，在可用情况下使用自报或官方排行榜数据。

  • 推理基准测试包括Humanity's Last Exam、ARC-AGI-2和MathArena Apex，结果来源于ScaleAI、ARC Prize网站或matharena.ai。
  • 图像能力在MMMU-Pro、ScreenSpotPro、CharXiv Reasoning和OmniDocBench 1.5上进行了测试，使用了media_resolution等特定API参数以实现高保真输入。
  • 视频性能使用Video-MMMU进行测量，推荐设置为每帧280个tok/s，温度设为0。
  • 代码评估涵盖LiveCodeBench Pro（ELO评级）、Terminal-Bench 2.0和SWE-bench Verified，对后者采用单次尝试的脚手架方法。
  • 工具使用通过τ2-bench在零售、航空和电信类别中进行评估，并结合Andon Labs提供的Vending-bench 2结果。
  • 事实性和长上下文能力使用FACTS Benchmark Suite、SimpleQA Verified以及MRCR v2针对128k和1M上下文窗口进行测量。

文章指出，截至2025年11月，Gemini 3 Pro在各项评估基准测试中显著优于Gemini 2.5 Pro。