Benchmark · reasoning
GPQA Diamond
GPQA Diamond es el subconjunto más difícil de GPQA, un conjunto de preguntas de opción múltiple de nivel de posgrado y «a prueba de Google» sobre biología, física y química escritas por expertos. El modelo se evalúa por su porcentaje de acierto al elegir la respuesta correcta.
Leer más
- Ejemplo
- Un ítem típico es una pregunta difícil de opción múltiple que exige razonamiento de nivel de posgrado; por ejemplo, una pregunta de química que describe un mecanismo de reacción y pide cuál de las cuatro opciones da el producto correcto, tan difícil que un no experto no la resuelve ni con búsquedas en la web.
- Puntuación
- La puntuación es el porcentaje de preguntas contestadas correctamente (exactitud): el número de ítems en los que el modelo elige la opción correcta dividido entre el total de preguntas.
- Verificación
- Cada respuesta se califica automáticamente por coincidencia exacta con la única opción correcta conocida, sin necesidad de juicio humano; la propia etiqueta «Diamond» se asignó al crear el conjunto de datos, cuando expertos cualificados coincidían en la respuesta y los no expertos aun así fallaban.
- Por qué importa
- Es una de las pruebas más exigentes de verdadero razonamiento científico de nivel experto (no de datos que se pueden buscar), por lo que una puntuación alta en GPQA Diamond es una señal destacada de que un modelo de frontera puede razonar sobre problemas difíciles y especializados.
Ejemplo resuelto
Tarea
Un electrón está en el estado de espín (sin normalizar) (3i, 4)ᵀ. Halla el valor esperado de su espín a lo largo del eje y, S_y. Opciones: (A) 12ħ/25 (B) −12ħ/25 (C) 25ħ/2 (D) −25ħ/2.
Solución
Norm: |3i|²+|4|²=25. σ_y=[[0,−i],[i,0]]. ⟨S_y⟩=(ħ/2)·(ψ†σ_yψ)/(ψ†ψ)=(ħ/2)·(−24/25)=−12ħ/25 → (B).
Explicación
Con ⟨S_y⟩ = ψ†S_yψ / ψ†ψ y S_y = (ħ/2)σ_y, el numerador ψ†σ_yψ = −24 y la norma ψ†ψ = 25, dando −12ħ/25 (opción B). GPQA califica por coincidencia exacta de la letra elegida con la clave correcta.