2023年末にニューヨーク大学とAnthropicの研究員によって導入されたGPQA-Diamondベンチマークは、Google対策が施された生物学、化学、物理学の大学院レベルの多肢選択問題198問で構成されています。これは、単純な情報検索ではなく深いドメイン専門知識を必要とする、科学的推論とスケーラブルな監視のための厳格な評価ツールとして機能します。

  • このベンチマークは博士号レベルの専門家によって作成された198問で構成されており、非専門家の正解率は約34%であるのに対し、専門家は約65〜70%を獲得します。
  • GPT-4などの初期モデルは約39%のスコアでしたが、その後の最先端システムは人間の性能をすでに上回っています。
  • OpenAIのO1は2024年9月に約77%の正解率を達成し、専門家のベンチマークを上回りました。
  • Autopoiesis SciencesのAristotle-X1は2025年半ばに92.4%を達成し、それに続きGoogleのGemini 3.1 Pro Previewが2026年2月に約94.1%となりました。
  • その他の上位パフォーマンスモデルには、GPT-5.2（約92.4%）、Gemini 3 Pro（約91.9%）、Claude Opus 4.6（約91.3%）が含まれます。

GPQA-Diamondの急速な飽和は、科学的推論の物差しとしての役割を浮き彫りにし、AIの能力が進展するにつれてより複雑な評価が必要であることを強調しています。