O benchmark GPQA-Diamond, introduzido no final de 2023 por pesquisadores da Universidade de Nova York e da Anthropic, consiste em 198 perguntas de múltipla escolha de nível de pós-graduação em biologia, química e física, projetadas para serem à prova do Google. Ele serve como uma ferramenta rigorosa de avaliação para raciocínio científico e supervisão escalável, exigindo profunda expertise no domínio em vez de simples recuperação de informações.
- O benchmark apresenta 198 perguntas elaboradas por especialistas com doutorado, onde não-especialistas alcançam ~34% de precisão enquanto os especialistas marcam ~65–70%.
- Modelos iniciais como o GPT-4 marcaram ~39%, mas sistemas de ponta desde então superaram o desempenho humano.
- O O1 da OpenAI atingiu aproximadamente 77% de precisão em setembro de 2024, excedendo os benchmarks de especialistas.
- O Aristotle-X1 da Autopoiesis Sciences alcançou 92,4% em meados de 2025, seguido pelo Gemini 3.1 Pro Preview do Google em ~94,1% em fevereiro de 2026.
- Outros grandes desempenhos incluem o GPT-5.2 (~92,4%), Gemini 3 Pro (~91,9%) e Claude Opus 4.6 (~91,3%).
A rápida saturação do GPQA-Diamond destaca seu papel como régua para raciocínio científico e reforça a necessidade de avaliações mais complexas à medida que as capacidades da IA avançam.