2023년 말 뉴욕 대학교와 Anthropic 연구진에 의해 도입된 GPQA-Diamond 벤치마크는 구글 방어가 적용된 생물학, 화학, 물리학 분야의 대학원 수준 다지선다 문제 198개로 구성되어 있습니다. 이는 단순한 정보 검색이 아닌 심층 도메인 전문 지식을 요구하는 과학적 추론 및 확장 가능한 감독을 위한 엄격한 평가 도구로 사용됩니다.

  • 이 벤치마크는 박사급 전문가들이 제작한 198개의 문제로 구성되었으며, 비전문가는 약 34%의 정확도를 보이는 반면 전문가들은 약 65–70%의 점수를 기록합니다.
  • GPT-4와 같은 초기 모델은 약 39%를 기록했지만, 그 이후 최첨단 시스템들은 인간 성능을 이미 능가했습니다.
  • OpenAI의 O1은 2024년 9월경 약 77%의 정확도를 달성하여 전문가 벤치마크를 초과했습니다.
  • Autopoiesis Sciences의 Aristotle-X1은 2025년 중반 92.4%를 달성했으며, 그 후 Google의 Gemini 3.1 Pro Preview가 2026년 2월경 약 94.1%를 기록했습니다.
  • 기타 상위 성능 모델에는 GPT-5.2(약 92.4%), Gemini 3 Pro(약 91.9%), Claude Opus 4.6(약 91.3%)가 포함됩니다.

GPQA-Diamond의 빠른 포화 현상은 과학적 추론을 측정하는 척도로서의 역할을 부각시키며, AI 능력이 발전함에 따라 더 복잡한 평가가 필요함을 강조합니다.