GPQA-Diamond बेंचमार्क, जिसे न्यूयॉर्क यूनिवर्सिटी और Anthropic के शोधकर्ताओं ने 2023 के अंत में पेश किया था, जीव विज्ञान, रसायन विज्ञान और भौतिकी में 198 स्नातक-स्तर के बहुविकल्पीय प्रश्नों से बना है, जिन्हें Google-proof बनाने के लिए डिज़ाइन किया गया है। यह वैज्ञानिक तर्कशक्ति और स्केलेबल ओवरसाइट के लिए एक कठोर मूल्यांकन उपकरण के रूप में कार्य करता है, जिसमें सरल सूचना पुनर्प्राप्ति के बजाय गहन डोमेन विशेषज्ञता की आवश्यकता होती है।
- इस बेंचमार्क में पीएचडी-स्तर के विशेषज्ञों द्वारा तैयार किए गए 198 प्रश्न शामिल हैं, जहाँ गैर-विशेषज्ञों ने लगभग 34% सटीकता हासिल की है जबकि विशेषज्ञों ने लगभग 65–70% स्कोर किया है।
- GPT-4 जैसे शुरुआती मॉडल्स ने लगभग 39% स्कोर किया था, लेकिन तब से राज्य-कला के सिस्टम मानव प्रदर्शन को पार कर गए हैं।
- OpenAI का O1 सितंबर 2024 में लगभग 77% सटीकता हासिल करने में सफल रहा, जिसने विशेषज्ञ बेंचमार्क्स को भी पार किया।
- Autopoiesis Sciences के Aristotle-X1 ने मध्य 2025 में 92.4% हासिल किया, इसके बाद फरवरी 2026 में Google के Gemini 3.1 Pro Preview ने लगभग 94.1% हासिल किया।
- अन्य शीर्ष प्रदर्शनकर्ताओं में GPT-5.2 (~92.4%), Gemini 3 Pro (~91.9%) और Claude Opus 4.6 (~91.3%) शामिल हैं।
GPQA-Diamond की तीव्र संतृप्ति वैज्ञानिक तर्कशक्ति के लिए एक मापन छड़ी के रूप में इसके भूमिका को उजागर करती है और एआई क्षमताओं के बढ़ने के साथ अधिक जटिल मूल्यांकनों की आवश्यकता पर जोर देती है।