Benchmark · multimodal

Video-MME

0 hasil 0 model

Video-MME adalah tolok ukur komprehensif yang mengevaluasi LLM multimodal dalam pemahaman video: pendek, sedang, dan panjang. Kinerja dinyatakan sebagai akurasi pilihan ganda atas 2.700 pertanyaan beranotasi manusia pada 900 video (254 jam) yang mencakup enam domain visual.

Selengkapnya

Contoh: Model menonton sebuah klip video (opsional dengan trek subtitle dan audionya) lalu menjawab pertanyaan pilihan ganda empat opsi yang menuntut penalaran atas konten visual sepanjang waktu — misalnya, mengidentifikasi urutan terjadinya peristiwa dalam klip olahraga berdurasi sedang.
Penilaian: Metriknya adalah akurasi: persentase pertanyaan empat opsi yang dijawab dengan benar. Hasil biasanya dilaporkan tanpa dan dengan subtitle, dirinci menurut durasi video (pendek/sedang/panjang) dan domain, lalu dirata-ratakan menjadi satu angka keseluruhan.
Verifikasi: Huruf yang dipilih model (A/B/C/D) diurai dari keluarannya dan dibandingkan dengan pencocokan persis terhadap jawaban acuan beranotasi pakar; proporsi yang benar adalah akurasinya. Semua video dan pertanyaan dikumpulkan dan dianotasi secara manual untuk meminimalkan kebocoran data, sehingga angkanya dapat dibandingkan di papan peringkat publik.
Mengapa penting: Ini adalah tolok ukur komprehensif pertama yang menguji LLM multimodal pada video nyata dengan rentang durasi yang luas (hingga sekitar satu jam) dan domain yang beragam, menggunakan beberapa modalitas (bingkai, subtitle, audio) — mengungkap penalaran temporal dan pemahaman video panjang yang sesungguhnya, bukan sekadar pengenalan satu bingkai.

Contoh penyelesaian

Tugas

Sebuah klip berdurasi sedang (~10 mnt) dari domain «Pengetahuan» disediakan bersama trek subtitle-nya. Pertanyaan: «Apa alasan utama yang disebutkan penyaji untuk diadopsinya secara luas teknik yang dijelaskan?» Opsi: A) Lebih murah daripada alternatifnya; B) Tidak memerlukan pelatihan khusus; C) Menghasilkan hasil yang lebih konsisten; D) Diwajibkan oleh hukum. (Butir ilustratif dalam format tolok ukur.)

Solusi

Padukan visual di layar dengan narasi subtitle/audio, singkirkan tiga opsi yang tidak didukung klip, lalu pilih yang didukung. Jawaban akhir: C.

Penjelasan

Pertanyaan Video-MME berupa pilihan ganda empat opsi dengan satu jawaban benar, sehingga tepat satu opsi (C) cocok dengan bukti klip; penilaian berupa pencocokan huruf persis terhadap label acuan pakar, diskor sebagai akurasi (benar ÷ total).

Belum ada skor terverifikasi yang dilaporkan untuk benchmark ini.