Google DeepMindは、Gemini 3 Proの評価に関する方法論と結果を公開し、推論、マルチモーダル機能、エージェント型ツール使用、多言語タスク、長文コンテキストウィンドウにおけるパフォーマンスを評価した。この評価では、Gemini APIを通じて単一試行設定のpass@1スコアリングを利用し、入手可能な自己報告または公式リーダーボードデータを用いて、Claude Sonnet 4.5やGPT-5.1などの競合モデルと比較している。

  • 推論ベンチマークにはHumanity's Last Exam、ARC-AGI-2、MathArena Apexが含まれ、結果はScaleAI、ARC Prizeウェブサイト、またはmatharena.aiから取得した。
  • 画像機能はMMMU-Pro、ScreenSpotPro、CharXiv Reasoning、OmniDocBench 1.5でテストされ、高忠実度入力にはmedia_resolutionなどの特定のAPIパラメータが使用された。
  • ビデオパフォーマンスはVideo-MMMUを使用して測定され、フレームあたり280トークン、温度0の推奨設定が用いられた。
  • コード評価にはLiveCodeBench Pro（ELOレーティング）、Terminal-Bench 2.0、SWE-bench Verifiedが含まれ、後者には単一試行のスケフォールディングが採用された。
  • ツール使用はτ2-benchを通じてRetail、Airline、Telecomのカテゴリで評価され、Andon LabsからのVending-bench 2の結果も併せて検討した。
  • 事実性と長文コンテキスト機能はFACTS Benchmark Suite、SimpleQA Verified、MRCR v2を使用して、128kおよび1Mのコンテキストウィンドウで測定された。

記事によると、Gemini 3 Proは2025年11月時点で評価されたベンチマークにおいてGemini 2.5 Proを大幅に上回っている。