Бенчмарк GPQA-Diamond, представленный в конце 2023 года исследователями из Нью-Йоркского университета и Anthropic, состоит из 198 вопросов с множественным выбором уровня аспирантуры по биологии, химии и физике, разработанных так, чтобы быть устойчивыми к поиску в Google. Он служит строгим инструментом оценки для научного рассуждения и масштабируемого надзора, требуя глубоких предметных знаний, а не простого поиска информации.
- Бенчмарк включает 198 вопросов, созданных экспертами с докторской степенью, при этом точность непрофессионалов составляет около ~34%, а экспертов — ~65–70%.
- Ранние модели, такие как GPT-4, показали результат около ~39%, но в настоящее время передовые системы превзошли человеческие показатели.
- Модель O1 от OpenAI достигла точности примерно 77% в сентябре 2024 года, превысив экспертные бенчмарки.
- Aristotle-X1 от Autopoiesis Sciences достиг 92.4% в середине 2025 года, за которым последовал Gemini 3.1 Pro Preview от Google с результатом около ~94.1% в феврале 2026 года.
- Среди других ведущих результатов: GPT-5.2 (~92.4%), Gemini 3 Pro (~91.9%) и Claude Opus 4.6 (~91.3%).
Быстрое насыщение GPQA-Diamond подчеркивает его роль как эталона для научного рассуждения и указывает на необходимость более сложных оценок по мере развития возможностей ИИ.