Benchmark GPQA-Diamond, yang diperkenalkan pada akhir tahun 2023 oleh peneliti dari New York University dan Anthropic, terdiri dari 198 pertanyaan pilihan ganda tingkat pascasarjana dalam biologi, kimia, dan fisika yang dirancang agar tahan terhadap Google. Ini berfungsi sebagai alat evaluasi yang ketat untuk penalaran ilmiah dan pengawasan yang dapat diskalakan, memerlukan keahlian domain yang mendalam daripada sekadar pengambilan informasi.

  • Benchmark ini menampilkan 198 pertanyaan yang dibuat oleh ahli tingkat PhD, dengan non-ahli mencapai akurasi ~34% sementara ahli mencetak skor ~65–70%.
  • Model awal seperti GPT-4 mencetak ~39%, tetapi sistem mutakhir sejak itu telah melampaui kinerja manusia.
  • O1 dari OpenAI mencapai akurasi sekitar 77% pada September 2024, melebihi benchmark ahli.
  • Aristotle-X1 dari Autopoiesis Sciences mencapai 92.4% pada pertengahan 2025, diikuti oleh Gemini 3.1 Pro Preview dari Google di ~94.1% pada Februari 2026.
  • Performa tinggi lainnya termasuk GPT-5.2 (~92.4%), Gemini 3 Pro (~91.9%), dan Claude Opus 4.6 (~91.3%).

Jenuhnya GPQA-Diamond dengan cepat menyoroti perannya sebagai pengukur penalaran ilmiah dan menekankan perlunya evaluasi yang lebih kompleks seiring kemajuan kemampuan AI.