Benchmark · reasoning
GPQA Diamond
GPQA Diamond é o subconjunto mais difícil do GPQA, um conjunto de questões de múltipla escolha de nível de pós-graduação e "à prova de Google" sobre biologia, física e química escritas por especialistas. O modelo é avaliado pela porcentagem de acerto ao escolher a resposta correta.
Saiba mais
- Exemplo
- Um item típico é uma questão difícil de múltipla escolha que exige raciocínio de nível de pós-graduação; por exemplo, uma questão de química que descreve um mecanismo de reação e pergunta qual das quatro opções gera o produto correto, tão difícil que um leigo não resolve nem com buscas na web.
- Pontuação
- A pontuação é a porcentagem de questões respondidas corretamente (acurácia): o número de itens em que o modelo escolhe a opção certa dividido pelo total de questões.
- Verificação
- Cada resposta é avaliada automaticamente por correspondência exata com a única opção correta conhecida, sem necessidade de julgamento humano; o próprio rótulo "Diamond" foi atribuído na criação do conjunto de dados, quando especialistas qualificados concordavam com a resposta e os não especialistas ainda erravam.
- Por que importa
- É um dos testes mais rigorosos de raciocínio científico genuíno de nível especialista (e não de fatos que se pode pesquisar), por isso uma boa pontuação no GPQA Diamond é um sinal de destaque de que um modelo de fronteira consegue raciocinar sobre problemas difíceis e especializados.
Exemplo resolvido
Tarefa
Um elétron está no estado de spin (não normalizado) (3i, 4)ᵀ. Encontre o valor esperado do seu spin ao longo do eixo y, S_y. Opções: (A) 12ħ/25 (B) −12ħ/25 (C) 25ħ/2 (D) −25ħ/2.
Solução
Norm: |3i|²+|4|²=25. σ_y=[[0,−i],[i,0]]. ⟨S_y⟩=(ħ/2)·(ψ†σ_yψ)/(ψ†ψ)=(ħ/2)·(−24/25)=−12ħ/25 → (B).
Explicação
Usando ⟨S_y⟩ = ψ†S_yψ / ψ†ψ com S_y = (ħ/2)σ_y, o numerador ψ†σ_yψ = −24 e a norma ψ†ψ = 25, resultando em −12ħ/25 (opção B). O GPQA avalia pela correspondência exata da letra escolhida com o gabarito.