El benchmark GPQA-Diamond, introducido a finales de 2023 por investigadores de la Universidad de Nueva York y Anthropic, consta de 198 preguntas de opción múltiple de nivel de posgrado en biología, química y física diseñadas para ser resistentes a Google. Sirve como una herramienta rigurosa de evaluación del razonamiento científico y la supervisión escalable, requiriendo una profunda experiencia en el dominio en lugar de una simple recuperación de información.
- El benchmark presenta 198 preguntas elaboradas por expertos con doctorado, donde los no expertos logran ~34% de precisión mientras que los expertos obtienen ~65–70%.
- Modelos tempranos como GPT-4 lograron ~39%, pero los sistemas de última generación han superado desde entonces el rendimiento humano.
- El O1 de OpenAI alcanzó aproximadamente 77% de precisión en septiembre de 2024, superando los benchmarks expertos.
- La Autopoiesis Sciences’ Aristotle-X1 alcanzó 92.4% a mediados de 2025, seguida por la Gemini 3.1 Pro Preview de Google con ~94.1% en febrero de 2026.
- Otros grandes competidores incluyen GPT-5.2 (~92.4%), Gemini 3 Pro (~91.9%) y Claude Opus 4.6 (~91.3%).
La rápida saturación de GPQA-Diamond destaca su papel como referencia para el razonamiento científico y subraya la necesidad de evaluaciones más complejas a medida que avanzan las capacidades de IA.