Benchmark · multimodal
MMMU
MMMU (Massive Multi-discipline Multimodal Understanding) menguji apakah sebuah model dapat menjawab soal tingkat perguruan tinggi yang menggabungkan gambar dan teks di berbagai disiplin ilmu. Hasilnya dilaporkan sebagai persentase jawaban benar (akurasi).
Selengkapnya
- Contoh
- Sebuah soal bisa menampilkan diagram kimia, grafik, atau citra medis bersama teks dan meminta model bernalar lalu memilih jawaban yang benar, seperti soal pada ujian universitas.
- Penilaian
- Setiap soal dinilai benar atau salah, dan skornya adalah persentase soal yang dijawab dengan benar (akurasi).
- Verifikasi
- Jawaban diverifikasi secara otomatis melalui kecocokan persis (exact match) dengan jawaban acuan (kebanyakan pilihan ganda, sebagian jawaban terbuka singkat), tanpa penilaian manusia.
- Mengapa penting
- Ia mengukur penalaran tingkat ahli setara perguruan tinggi atas gambar dan teks di puluhan mata pelajaran, sehingga menjadi uji ketat pemahaman multimodal yang sesungguhnya, bukan sekadar kemampuan teks.
Contoh penyelesaian
MMMU (Massive Multi-discipline Multimodal Understanding) mengajukan soal tingkat universitas yang memadukan teks dengan sebuah gambar — diagram, grafik, struktur kimia, atau citra medis — di enam disiplin, sehingga model harus benar-benar membaca gambar untuk menjawab. Contoh soal Science yang representatif: gambar yang menyertainya menunjukkan sebuah rangkaian dengan baterai 12 V yang terhubung ke dua resistor secara seri, diberi label R1 = 4 Ω dan R2 = 2 Ω. Pertanyaan: "Berapa arus yang diberikan baterai?", dengan pilihan (A) 1 A, (B) 2 A, (C) 3 A, (D) 6 A. Jawaban yang benar adalah (B) 2 A. Penalaran: resistor seri dijumlahkan, sehingga hambatan total adalah R = 4 Ω + 2 Ω = 6 Ω, dan hukum Ohm memberi I = V / R = 12 V / 6 Ω = 2 A. Soal ini bersifat "multimodal" karena nilai resistor dan susunan serinya hanya bisa diperoleh dengan membaca skema, bukan dari teks saja.
Belum ada skor terverifikasi yang dilaporkan untuk benchmark ini.