Benchmark · multimodal

MathVista

0 hasil 0 model

MathVista adalah tolok ukur multimodal yang mengukur penalaran matematis atas masukan visual: gambar, bagan, diagram geometri, dan grafik ilmiah. Kinerja dilaporkan sebagai accuracy (akurasi): proporsi pertanyaan yang dijawab dengan benar.

Selengkapnya

Contoh: Butir soal yang khas memasangkan sebuah gambar — diagram geometri, grafik fungsi, diagram batang, atau tabel — dengan pertanyaan yang hanya dapat diselesaikan dengan membaca detail visual yang halus lalu bernalar secara matematis, seperti menghitung panjang dari gambar berlabel atau membaca nilai dari sebuah bagan. Butir soalnya berupa pilihan ganda atau jawaban bebas (bilangan bulat, desimal, atau daftar).
Penilaian: Metriknya adalah accuracy (akurasi). Karena jawabannya bebas atau pilihan ganda, sebuah LLM lebih dulu mengekstrak jawaban akhir singkat dari respons lengkap model; jawaban itu dinormalkan dan dibandingkan dengan kunci jawaban melalui kecocokan persis. Akurasi adalah fraksi butir yang benar, yang juga dilaporkan terpilah menurut jenis tugas dan jenis penalaran.
Verifikasi: Evaluasi menggunakan dua pembagian: himpunan testmini berisi 1000 butir dengan jawaban publik untuk penilaian lokal, dan himpunan test yang lebih besar berisi sekitar 5141 butir yang jawabannya disembunyikan dan hanya dinilai dengan mengirimkan prediksi ke papan peringkat evaluasi resmi. Suatu hasil dihitung benar bila alur ekstraksi jawaban plus kecocokan persis menerimanya.
Mengapa penting: Tolok ukur matematika yang hanya teks dan tolok ukur tanya-jawab visual umum, masing-masing, melewatkan irisan yang dituju MathVista: matematika yang mustahil tanpa pemahaman visual yang sesungguhnya. Ia menyingkap kesenjangan lebar antara model dan manusia serta menjadi tolok ukur standar untuk penalaran matematis visual model fondasi multimodal.

Contoh penyelesaian

Tugas

Gambar: sebuah segitiga siku-siku dengan dua sisi tegak lurusnya diberi label 6 dan 8. Pertanyaan: «Berapa panjang sisi miring pada gambar?» Jenis jawaban: bilangan bulat jawaban bebas.

Solusi

Menurut teorema Pythagoras, sisi miring c = √(6² + 8²) = √(36 + 64) = √100 = 10. Jawaban akhir: 10.

Penjelasan

Menyelesaikannya menuntut pembacaan panjang sisi berlabel dari diagram (pemahaman visual) lalu penerapan teorema Pythagoras (penalaran matematis). Penilaian: sebuah LLM mengekstrak jawaban singkat «10» dari respons model, yang dicocokkan dengan kunci jawaban melalui kecocokan persis ternormalisasi.

Belum ada skor terverifikasi yang dilaporkan untuk benchmark ini.