Benchmark · multimodal

CharXiv

0 hasil 0 model

CharXiv adalah tolok ukur yang menguji seberapa baik LLM multimodal memahami grafik ilmiah nyata yang diambil dari makalah arXiv; ia melaporkan akurasi secara terpisah untuk pertanyaan deskriptif (membaca elemen dasar grafik) dan pertanyaan penalaran (membandingkan dan menganalisis nilai).

Selengkapnya

Contoh: Diberikan gambar grafik, tugas deskriptif dapat meminta membaca judul, menghitung entri legenda, atau menyebutkan label tanda skala, sedangkan tugas penalaran dapat meminta membandingkan dua deret yang diplot dan menyatakan mana yang lebih besar pada suatu titik — semuanya dapat dijawab hanya dari konten visual grafik.
Penilaian: Setiap pertanyaan dijawab dengan jawaban singkat berformat bebas. GPT-4o bertindak sebagai juri otomatis yang mengekstrak jawaban model dan memberi skor biner benar/salah terhadap kunci jawaban yang divalidasi manusia; skornya adalah akurasi (persentase benar), dilaporkan terpisah untuk subset deskriptif dan penalaran.
Verifikasi: Seluruh 2.323 grafik, pertanyaannya, dan jawaban rujukan semuanya dikurasi secara manual dan diperiksa oleh pakar manusia; sebuah jawaban diterima sebagai benar hanya ketika juri GPT-4o menilainya cocok dengan rujukan, dan akurasi manusia yang dilaporkan (sekitar 80,5% pada penalaran) menjadi batas atas rujukan.
Mengapa penting: Membaca grafik penting untuk menerapkan MLLM pada makalah ilmiah dan laporan keuangan, tetapi tolok ukur terdahulu memakai grafik sederhana berbasis templat yang melebih-lebihkan kemajuan; grafik arXiv yang alami dan beragam di CharXiv menyingkap kesenjangan besar antara model terbaik dan manusia, menjadikannya uji penalaran visual yang menantang dan realistis.

Contoh penyelesaian

Tugas

[Butir ilustratif penalaran] Sebuah grafik batang berkelompok berjudul «Validation Accuracy by Model Size». Sumbu X: ukuran model (7B, 13B, 70B); sumbu Y: akurasi (%). Tiap kelompok punya dua batang, Dataset A dan Dataset B: 7B → A=61, B=58; 13B → A=68, B=62; 70B → A=79, B=71. Pertanyaan (beri jawaban singkat): pada ukuran model mana selisih akurasi antara Dataset A dan Dataset B paling besar?

Solusi

Selisih per kelompok A − B: 7B → 61 − 58 = 3; 13B → 68 − 62 = 6; 70B → 79 − 71 = 8. Terbesar = 8 → jawaban: 70B.

Penjelasan

Ini pertanyaan penalaran karena kamu harus membaca keenam tinggi batang dan membandingkan selisihnya, bukan sekadar mengekstrak satu nilai; juri GPT-4o mencocokkan jawaban singkat dengan kunci «70B» dan menilainya secara biner, berkontribusi pada metrik akurasi penalaran.

Belum ada skor terverifikasi yang dilaporkan untuk benchmark ini.