Google DeepMind ने Gemini 3 Pro के मूल्यांकन की विधि और परिणाम प्रकाशित किए हैं, जिसमें तर्क, बहुआयामी क्षमताओं, एजेंटिक टूल उपयोग, बहुभाषी कार्यों और लंबे-संदर्भ विंडो में इसके प्रदर्शन का आकलन शामिल है। मूल्यांकन Gemini API के माध्यम से सिंगल-अटेंप्ट सेटिंग्स के साथ pass@1 स्कोरिंग का उपयोग करता है, जहां उपलब्ध हो तो स्व-रिपोर्ट किए गए या आधिकारिक लीडरबोर्ड डेटा का उपयोग करके मॉडल की तुलना Claude Sonnet 4.5 और GPT-5.1 जैसे प्रतिस्पर्धियों से की जाती है।
- तर्क बेंचमार्क्स में Humanity's Last Exam, ARC-AGI-2 और MathArena Apex शामिल हैं, जिनके परिणाम ScaleAI, ARC Prize वेबसाइट या matharena.ai से प्राप्त किए गए हैं।
- छवि क्षमताओं का परीक्षण MMMU-Pro, ScreenSpotPro, CharXiv Reasoning और OmniDocBench 1.5 पर किया गया, उच्च-फिडेलिटी इनपुट के लिए media_resolution जैसे विशिष्ट API पैरामीटर का उपयोग करते हुए।
- वीडियो प्रदर्शन Video-MMMU का उपयोग करके मापा गया, जिसमें प्रति फ्रेम 280 टोकन और तापमान 0 की अनुशंसित सेटिंग है।
- कोड मूल्यांकन में LiveCodeBench Pro (ELO रेटिंग), Terminal-Bench 2.0 और SWE-bench Verified शामिल हैं, जिसमें अंतिम के लिए सिंगल-अटेंप्ट स्केफोल्डिंग का उपयोग किया गया।
- टूल उपयोग का आकलन Retail, Airline और Telecom श्रेणियों में τ2-bench के माध्यम से किया गया, साथ ही Andon Labs से Vending-bench 2 परिणामों के साथ।
- तथ्यात्मकता और लंबे-संदर्भ क्षमताओं का मापन FACTS Benchmark Suite, SimpleQA Verified और MRCR v2 का उपयोग करके 128k और 1M संदर्भ विंडो के लिए किया गया।
लेख में कहा गया है कि नवंबर 2025 तक मूल्यांकित बेंचमार्क्स में Gemini 3 Pro, Gemini 2.5 Pro की तुलना में काफी बेहतर प्रदर्शन करता है।