Benchmark · multimodal
MMMU-Pro
MMMU-Pro adalah versi MMMU yang diperkuat ketangguhannya, yang mengukur pemahaman dan penalaran multimodal (gambar + teks) setingkat perguruan tinggi di enam disiplin ilmu; metriknya adalah akurasi pada soal pilihan ganda.
Selengkapnya
- Contoh
- Sebuah soal dari suatu disiplin memadukan sebuah gambar — diagram, grafik, struktur kimia, atau citra medis — dengan pertanyaan setingkat perguruan tinggi dan hingga 10 pilihan jawaban; pada mode khusus-penglihatan (vision-only), seluruh soal beserta pilihannya disematkan di dalam sebuah tangkapan layar atau foto, sehingga model harus membaca teks langsung dari gambar itu sendiri.
- Penilaian
- Akurasi: pilihan yang dipilih model dicocokkan secara persis dengan kunci jawaban rujukan, dan skornya adalah persentase soal yang dijawab benar. Pilihan kandidat diperbanyak dari 4 menjadi 10 untuk menekan tebakan acak, dan skor keseluruhan MMMU-Pro adalah rata-rata dari mode Standard (10 pilihan) dan Vision (masukan gambar) (biasanya digunakan penalaran berantai, Chain-of-Thought).
- Verifikasi
- Setiap soal adalah pilihan ganda dengan satu jawaban benar, sehingga penilaian bersifat otomatis: pilihan akhir yang diambil diekstraksi dari keluaran model (sering kali dengan rantai penalaran) dan dibandingkan secara persis dengan jawaban rujukan. Ketangguhan tertanam dalam datanya — soal yang bisa dijawab oleh model teks-saja disaring keluar dan jumlah pilihan dinaikkan menjadi 10 — sehingga skor tinggi mencerminkan penalaran multimodal yang sejati, bukan jalan pintas berbasis teks atau tebakan yang beruntung.
- Mengapa penting
- MMMU yang asli menggelembungkan skor karena model bisa memanfaatkan jalan pintas berbasis teks atau menebak di antara empat pilihan; MMMU-Pro menghilangkan keduanya, sehingga akurasi yang terukur turun tajam dan lebih baik memisahkan model yang benar-benar memadukan penglihatan dan teks, menjadikannya ukuran yang lebih jujur atas kemampuan multimodal setingkat pakar.
Contoh penyelesaian
Tugas
Butir soal Sains (Fisika) yang representatif dalam format MMMU-Pro. [Gambar: sebuah balok pada bidang miring tanpa gesekan dengan sudut θ = 30°.] Pertanyaan: berapakah besar percepatan balok sepanjang bidang miring? Pilihan (10): (A) 0 m/s² (B) 1.6 m/s² (C) 2.5 m/s² (D) 3.3 m/s² (E) 4.9 m/s² (F) 5.7 m/s² (G) 6.9 m/s² (H) 7.4 m/s² (I) 8.5 m/s² (J) 9.8 m/s². Pada mode khusus-penglihatan, seluruh pernyataan soal ini muncul tersemat di dalam sebuah tangkapan layar.
Solusi
a = g·sin θ = 9.8 × sin 30° = 9.8 × 0.5 = 4.9 m/s² → (E)
Penjelasan
Pada bidang miring tanpa gesekan, satu-satunya gaya yang bekerja sepanjang permukaan adalah komponen gravitasi mg·sin θ, sehingga percepatannya adalah g·sin θ dan tidak bergantung pada massa balok; g·sin 30° = 4.9 m/s², yang sesuai dengan pilihan (E). Penilaian membandingkan huruf pilihan yang diekstraksi dengan kunci jawaban rujukan secara pencocokan persis.