Benchmark · reasoning
GPQA Diamond
GPQA Diamond est le sous-ensemble le plus difficile de GPQA, un ensemble de questions à choix multiples de niveau master/doctorat et « à l'épreuve de Google » en biologie, physique et chimie rédigées par des experts. Le modèle est évalué par son pourcentage de bonnes réponses.
En savoir plus
- Exemple
- Un item typique est une question à choix multiples difficile exigeant un raisonnement de niveau doctoral ; par exemple, une question de chimie décrivant un mécanisme réactionnel et demandant laquelle des quatre options donne le bon produit, si ardue qu'un non-expert ne la résout même pas avec une recherche sur le web.
- Notation
- Le score est le pourcentage de questions répondues correctement (exactitude) : le nombre d'items où le modèle choisit la bonne option divisé par le nombre total de questions.
- Vérification
- Chaque réponse est notée automatiquement par correspondance exacte avec l'unique bonne option connue, sans jugement humain ; l'étiquette « Diamond » elle-même a été attribuée lors de la création du jeu de données, lorsque des experts qualifiés s'accordaient sur la réponse et que les non-experts se trompaient malgré tout.
- Pourquoi c'est important
- C'est l'un des tests les plus exigeants du véritable raisonnement scientifique de niveau expert (et non de faits que l'on peut chercher), si bien qu'un score élevé à GPQA Diamond est un signal marquant qu'un modèle de pointe sait raisonner sur des problèmes difficiles et spécialisés.
Exemple résolu
Tâche
Un électron est dans l'état de spin (non normalisé) (3i, 4)ᵀ. Trouvez la valeur moyenne de son spin selon l'axe y, S_y. Options : (A) 12ħ/25 (B) −12ħ/25 (C) 25ħ/2 (D) −25ħ/2.
Solution
Norm: |3i|²+|4|²=25. σ_y=[[0,−i],[i,0]]. ⟨S_y⟩=(ħ/2)·(ψ†σ_yψ)/(ψ†ψ)=(ħ/2)·(−24/25)=−12ħ/25 → (B).
Explication
Avec ⟨S_y⟩ = ψ†S_yψ / ψ†ψ et S_y = (ħ/2)σ_y, le numérateur ψ†σ_yψ = −24 et la norme ψ†ψ = 25, ce qui donne −12ħ/25 (option B). GPQA évalue par correspondance exacte de la lettre choisie avec la clé de correction.