Benchmark · reasoning
GPQA Diamond
GPQA Diamond adalah subset tersulit dari GPQA, kumpulan soal pilihan ganda tingkat pascasarjana dan "anti-Google" di bidang biologi, fisika, dan kimia yang ditulis oleh para ahli. Model dinilai berdasarkan persentase akurasi dalam memilih jawaban yang benar.
Selengkapnya
- Contoh
- Soal yang khas adalah pertanyaan pilihan ganda sulit yang menuntut penalaran tingkat pascasarjana; misalnya, soal kimia yang menjelaskan suatu mekanisme reaksi dan menanyakan mana dari empat pilihan yang menghasilkan produk yang benar, begitu sulit sampai orang non-ahli pun tak bisa menjawabnya meski memakai pencarian web.
- Penilaian
- Skornya adalah persentase soal yang dijawab benar (akurasi): jumlah soal saat model memilih opsi yang benar dibagi total jumlah soal.
- Verifikasi
- Setiap jawaban dinilai secara otomatis melalui pencocokan persis dengan satu-satunya opsi benar yang diketahui, sehingga tidak perlu penilaian manusia; label "Diamond" itu sendiri diberikan saat pembuatan dataset, yaitu ketika para ahli yang berkualifikasi sepakat pada jawaban sementara non-ahli tetap salah.
- Mengapa penting
- Ini salah satu ujian paling berat untuk penalaran ilmiah tingkat ahli yang sesungguhnya (bukan fakta yang bisa dicari), sehingga skor tinggi di GPQA Diamond menjadi sinyal penting bahwa model terdepan mampu bernalar pada masalah yang sulit dan spesialistis.
Contoh penyelesaian
Tugas
Sebuah elektron berada dalam keadaan spin (tak ternormalisasi) (3i, 4)ᵀ. Tentukan nilai harap spinnya sepanjang sumbu y, S_y. Pilihan: (A) 12ħ/25 (B) −12ħ/25 (C) 25ħ/2 (D) −25ħ/2.
Solusi
Norm: |3i|²+|4|²=25. σ_y=[[0,−i],[i,0]]. ⟨S_y⟩=(ħ/2)·(ψ†σ_yψ)/(ψ†ψ)=(ħ/2)·(−24/25)=−12ħ/25 → (B).
Penjelasan
Dengan ⟨S_y⟩ = ψ†S_yψ / ψ†ψ dan S_y = (ħ/2)σ_y, pembilang ψ†σ_yψ = −24 dan normanya ψ†ψ = 25, sehingga menghasilkan −12ħ/25 (pilihan B). GPQA menilai berdasarkan kecocokan persis huruf yang dipilih dengan kunci jawaban.