Benchmark · multimodal
MathVista
MathVista adalah tolok ukur multimodal yang mengukur penalaran matematis atas masukan visual: gambar, bagan, diagram geometri, dan grafik ilmiah. Kinerja dilaporkan sebagai accuracy (akurasi): proporsi pertanyaan yang dijawab dengan benar.
Selengkapnya
- Contoh
- Butir soal yang khas memasangkan sebuah gambar — diagram geometri, grafik fungsi, diagram batang, atau tabel — dengan pertanyaan yang hanya dapat diselesaikan dengan membaca detail visual yang halus lalu bernalar secara matematis, seperti menghitung panjang dari gambar berlabel atau membaca nilai dari sebuah bagan. Butir soalnya berupa pilihan ganda atau jawaban bebas (bilangan bulat, desimal, atau daftar).
- Penilaian
- Metriknya adalah accuracy (akurasi). Karena jawabannya bebas atau pilihan ganda, sebuah LLM lebih dulu mengekstrak jawaban akhir singkat dari respons lengkap model; jawaban itu dinormalkan dan dibandingkan dengan kunci jawaban melalui kecocokan persis. Akurasi adalah fraksi butir yang benar, yang juga dilaporkan terpilah menurut jenis tugas dan jenis penalaran.
- Verifikasi
- Evaluasi menggunakan dua pembagian: himpunan testmini berisi 1000 butir dengan jawaban publik untuk penilaian lokal, dan himpunan test yang lebih besar berisi sekitar 5141 butir yang jawabannya disembunyikan dan hanya dinilai dengan mengirimkan prediksi ke papan peringkat evaluasi resmi. Suatu hasil dihitung benar bila alur ekstraksi jawaban plus kecocokan persis menerimanya.
- Mengapa penting
- Tolok ukur matematika yang hanya teks dan tolok ukur tanya-jawab visual umum, masing-masing, melewatkan irisan yang dituju MathVista: matematika yang mustahil tanpa pemahaman visual yang sesungguhnya. Ia menyingkap kesenjangan lebar antara model dan manusia serta menjadi tolok ukur standar untuk penalaran matematis visual model fondasi multimodal.
Contoh penyelesaian
Tugas
Gambar: sebuah segitiga siku-siku dengan dua sisi tegak lurusnya diberi label 6 dan 8. Pertanyaan: «Berapa panjang sisi miring pada gambar?» Jenis jawaban: bilangan bulat jawaban bebas.
Solusi
Menurut teorema Pythagoras, sisi miring c = √(6² + 8²) = √(36 + 64) = √100 = 10. Jawaban akhir: 10.
Penjelasan
Menyelesaikannya menuntut pembacaan panjang sisi berlabel dari diagram (pemahaman visual) lalu penerapan teorema Pythagoras (penalaran matematis). Penilaian: sebuah LLM mengekstrak jawaban singkat «10» dari respons model, yang dicocokkan dengan kunci jawaban melalui kecocokan persis ternormalisasi.
| Tanggal | Model | Skor | Sumber |
|---|---|---|---|
| 2026-08-13 | LFM2.5-VL-3B | 68.5% | Liquid AI merilis LFM2.5-VL-3B, model visi-bahasa 3B untuk perangkat dengan kemampuan pemanggilan alat |
| 2025-05-26 | Alita | 74.0% | Alita memungkinkan penalaran agen yang skalabel dengan minimal pendefinisian awal dan evolusi diri maksimal |
| 2025-04-17 | o4-mini | 84.3% | OpenAI merilis o4-mini, model penalaran multimodal yang lebih cepat dan murah |
| 2025-01-22 | Kimi k1.5 | 74.9% | Kimi k1.5 menskalakan pembelajaran penguatan dengan LLM untuk menyamai o1 dan mengalahkan model short-CoT |
| 2024-06-20 | Claude 3.5 Sonnet | 67.7% | Anthropic merilis tambahan untuk Claude 3.5 Sonnet dengan peningkatan benchmark pemrograman dan visi |