Benchmark · general
MMLU-Pro
MMLU-Pro adalah penerus MMLU yang lebih sulit dan berfokus pada penalaran, yang menguji pengetahuan dan kemampuan pemecahan masalah sebuah model di banyak disiplin akademik melalui soal pilihan ganda dengan 10 opsi jawaban per soal. Hasilnya dilaporkan sebagai persentase akurasi — yaitu proporsi soal yang dijawab dengan benar.
Selengkapnya
- Contoh
- Contoh soal yang khas adalah pertanyaan pilihan ganda dari bidang seperti matematika, fisika, hukum, atau teknik yang memerlukan beberapa langkah penalaran, di mana model harus memilih satu-satunya jawaban benar dari 10 opsi (dibandingkan 4 pada MMLU asli).
- Penilaian
- Metriknya adalah akurasi (accuracy): persentase soal yang jawabannya dipilih dengan benar oleh model, dihitung sebagai jumlah jawaban benar dibagi total soal.
- Verifikasi
- Setiap jawaban dinilai secara otomatis dengan mencocokkan secara persis (exact match) opsi yang dipilih model dengan label benar yang telah diketahui, sehingga tidak perlu penilaian manusia.
- Mengapa penting
- Karena model-model terdepan hampir menjenuhkan MMLU asli, soal yang lebih sulit dan 10 opsi pada MMLU-Pro membuatnya lebih membedakan dan lebih peka terhadap penalaran nyata, sehingga memberikan ukuran kemajuan yang lebih jernih.
Contoh penyelesaian
Tugas
MMLU-Pro (fisika, 10 pilihan). Sebuah proyektil diluncurkan dari permukaan tanah dengan kecepatan 20 m/s pada sudut 30° di atas horizontal (g = 10 m/s², tanpa hambatan udara). Berapa ketinggian maksimumnya? A) 2.5 m B) 5.0 m C) 7.5 m D) 10.0 m E) 12.5 m F) 15.0 m G) 17.3 m H) 20.0 m I) 3.5 m J) 8.7 m
Solusi
v_y = v·sin30° = 20 × 0.5 = 10 m/s; h_max = v_y² / (2g) = 10² / (2 × 10) = 5.0 m → B
Penjelasan
Di titik tertinggi kecepatan vertikal nol, sehingga h_max = v_y²/(2g) dengan v_y = v·sin30°; hanya komponen vertikal yang menentukan ketinggian. MMLU-Pro menilai dengan pencocokan persis huruf yang dipilih terhadap kunci jawaban (accuracy atas 10 pilihannya).