GPQA-Diamond 基准由纽约大学和 Anthropic 的研究人员于 2023 年底推出，包含 198 道生物、化学和物理领域的研究生级别多项选择题，旨在防止通过 Google 搜索获取答案。它作为科学推理和可扩展监督的严格评估工具，要求深厚的领域专业知识，而非简单的信息检索。

  • 该基准包含由博士级专家精心设计的 198 道题目，非专家准确率约为 34%，而专家得分约为 65–70%。
  • GPT-4 等早期模型得分约为 39%，但此后最先进的系统已超越人类表现。
  • OpenAI 的 O1 在 2024 年 9 月取得了约 77% 的准确率，超过了专家基准。
  • Autopoiesis Sciences 的 Aristotle-X1 在 2025 年中达到 92.4%，随后 Google 的 Gemini 3.1 Pro Preview 在 2026 年 2 月达到约 94.1%。
  • 其他顶级表现者包括 GPT-5.2（约 92.4%）、Gemini 3 Pro（约 91.9%）和 Claude Opus 4.6（约 91.3%）。

GPQA-Diamond 的快速饱和凸显了其作为科学推理衡量标准的角色，并随着 AI 能力的提升，强调了需要更复杂评估的必要性。