يتكون معيار GPQA-Diamond، الذي قدمه باحثون من جامعة نيويورك وAnthropic في أواخر عام 2023، من 198 سؤالاً متعدد الخيارات على مستوى الدراسات العليا في علم الأحياء والكيمياء والفيزياء، مصمم ليكون مقاوماً للبحث عبر Google. يعمل كأداة تقييم صارمة للاستدلال العلمي والإشراف القابل للتوسع، ويتطلب خبرة عميقة في المجال بدلاً من مجرد استرجاع المعلومات.
- يتضمن المعيار 198 سؤالاً صاغها خبراء على مستوى الدكتوراه، حيث يحقق غير الخبراء دقة تبلغ حوالي 34% بينما يسجل الخبراء حوالي 65–70%.
- حققت نماذج مبكرة مثل GPT-4 حوالي 39%، لكن الأنظمة المتطورة منذ ذلك الحين تجاوزت الأداء البشري.
- حقق O1 من OpenAI دقة تقارب 77% في سبتمبر 2024، متجاوزاً معايير الخبراء.
- وصل Aristotle-X1 من Autopoiesis Sciences إلى 92.4% في منتصف عام 2025، تليه Gemini 3.1 Pro Preview من Google بنسبة حوالي 94.1% في فبراير 2026.
- تشمل أبرز الأداءات الأخرى GPT-5.2 (حوالي 92.4%)، وGemini 3 Pro (حوالي 91.9%)، وClaude Opus 4.6 (حوالي 91.3%).
يبرز التشبع السريع لـ GPQA-Diamond دوره كمقياس للاستدلال العلمي ويؤكد الحاجة إلى تقييمات أكثر تعقيداً مع تقدم قدرات الذكاء الاصطناعي.