Le benchmark GPQA-Diamond, introduit à la fin de l'année 2023 par des chercheurs de l'Université de New York et d'Anthropic, se compose de 198 questions à choix multiples de niveau universitaire en biologie, chimie et physique, conçues pour être résistantes aux recherches Google. Il sert d'outil d'évaluation rigoureux pour le raisonnement scientifique et la supervision évolutive, nécessitant une expertise approfondie du domaine plutôt qu'une simple récupération d'informations.
- Le benchmark comprend 198 questions élaborées par des experts de niveau doctorat, les non-experts atteignant environ 34 % de précision tandis que les experts marquent environ 65–70 %.
- Les modèles précoces comme GPT-4 ont obtenu environ 39 %, mais les systèmes de pointe ont depuis dépassé la performance humaine.
- L'O1 d'OpenAI a atteint environ 77 % de précision en septembre 2024, dépassant les benchmarks experts.
- L'Aristotle-X1 d'Autopoiesis Sciences a atteint 92,4 % au milieu de l'année 2025, suivi par la version Preview de Gemini 3.1 Pro de Google à environ 94,1 % en février 2026.
- Parmi les autres performeurs figurent GPT-5.2 (environ 92,4 %), Gemini 3 Pro (environ 91,9 %) et Claude Opus 4.6 (environ 91,3 %).
La saturation rapide du GPQA-Diamond met en lumière son rôle de mesure pour le raisonnement scientifique et souligne la nécessité d'évaluations plus complexes à mesure que les capacités de l'IA progressent.