Бенчмарк · reasoning
GPQA Diamond
GPQA Diamond — самый сложный поднабор GPQA, набор вопросов с выбором ответа уровня аспирантуры и «недоступных для гуглинга» по биологии, физике и химии, составленных экспертами. Модель оценивается по проценту точности при выборе правильного ответа.
Подробнее
- Пример
- Типичный вопрос — трудная задача с выбором из вариантов, требующая рассуждений уровня аспиранта: например, вопрос по химии, описывающий механизм реакции и спрашивающий, какой из четырёх вариантов даёт правильный продукт, настолько сложный, что неспециалист не решит его даже с поиском в интернете.
- Метрика
- Оценка — это доля правильно отвеченных вопросов (точность): число заданий, где модель выбрала верный вариант, делённое на общее число вопросов.
- Приёмка
- Каждый ответ проверяется автоматически точным совпадением с единственным известным правильным вариантом, поэтому участие человека не требуется; сам ярлык «Diamond» был присвоен при создании датасета — когда квалифицированные эксперты сходились в ответе, а неспециалисты всё равно ошибались.
- Почему важно
- Это один из самых строгих тестов настоящего научного мышления экспертного уровня (а не фактов, которые можно найти в поиске), поэтому высокий результат на GPQA Diamond — заметный сигнал того, что передовая модель способна рассуждать над сложными узкоспециальными задачами.
Разбор примера
Задача
Электрон находится в (ненормированном) спиновом состоянии (3i, 4)ᵀ. Найдите среднее значение проекции спина на ось y, S_y. Варианты: (A) 12ħ/25 (B) −12ħ/25 (C) 25ħ/2 (D) −25ħ/2.
Решение
Norm: |3i|²+|4|²=25. σ_y=[[0,−i],[i,0]]. ⟨S_y⟩=(ħ/2)·(ψ†σ_yψ)/(ψ†ψ)=(ħ/2)·(−24/25)=−12ħ/25 → (B).
Разбор
По формуле ⟨S_y⟩ = ψ†S_yψ / ψ†ψ с S_y = (ħ/2)σ_y числитель ψ†σ_yψ = −24, норма ψ†ψ = 25, откуда −12ħ/25 (вариант B). GPQA оценивает по точному совпадению выбранной буквы с эталонным ответом.