Benchmark · multimodal

LongVideoBench

0 hasil 0 model

LongVideoBench adalah benchmark tanya-jawab pilihan ganda yang menguji seberapa baik model multimodal memahami video panjang bersubtitel (hingga satu jam) yang disajikan sebagai frame dan teks yang berselang-seling. Kinerja diukur dengan akurasi (accuracy): persentase pertanyaan yang jawabannya dipilih dengan benar oleh model.

Selengkapnya

Contoh: Pertanyaan bertipe 'referring reasoning' (penalaran rujukan) atas video panjang: soal memuat kueri rujukan yang menunjuk momen tertentu (mis. 'adegan tepat setelah pembawa acara membuka kotak merah'), dan model harus menemukan momen itu di antara frame dan subtitel yang disampel lalu memilih opsi yang benar tentang apa yang terjadi di sana.
Penilaian: Metriknya adalah akurasi pilihan ganda: skor = (pertanyaan yang dijawab benar) / (total pertanyaan). Sebuah pertanyaan benar hanya jika opsi yang dipilih model cocok dengan satu-satunya opsi acuan. Hasil biasanya juga dirinci menurut empat kelompok durasi (8–15 dtk, 15–60 dtk, 3–10 mnt, 15–60 mnt) dan menurut kategori pertanyaan.
Verifikasi: Sebuah jawaban diterima ketika label opsi yang diprediksi sama persis dengan label acuan. Split validasi (1,337 pertanyaan) disertai jawaban publik sehingga akurasi dapat dihitung secara lokal; jawaban split uji disembunyikan dan dinilai lewat papan peringkat resmi, sehingga skor yang dilaporkan publik memakai split validasi.
Mengapa penting: Kebanyakan benchmark video bisa diselesaikan hanya dari beberapa frame; desain 'referring reasoning' LongVideoBench memaksa model menemukan dan menalar detail spesifik yang terkubur dalam masukan berselang-seling video plus subtitel sepanjang satu jam, menyingkap bagaimana akurasi menurun saat video makin panjang serta menguji kemampuan pengambilan multimodal konteks panjang yang sesungguhnya.

Contoh penyelesaian

Tugas

Item representatif. Masukan: frame yang disampel + subtitel bertanda waktu dari vlog memasak ~25 menit. Pertanyaan bertipe referring reasoning: Kueri rujukan: momen saat pembawa acara pertama kali menambahkan garam ke wajan. Pertanyaan: bahan apa yang ditambahkan pembawa acara tepat setelah momen itu? A) Bawang putih B) Gula C) Bawang bombai cincang D) Minyak zaitun E) Merica hitam

Solusi

Temukan momen yang dirujuk (penambahan garam pertama kali) di antara frame yang disampel menggunakan petunjuk subtitel/gambar; periksa frame tepat sesudahnya; kenali bahan berikutnya yang ditambahkan. Opsi benar: C) Bawang bombai cincang.

Penjelasan

Kueri rujukan mengunci satu momen jangkar, dan hanya satu opsi yang cocok dengan apa yang benar-benar ditampilkan frame berikutnya; pengecoh adalah bahan yang masuk akal tetapi muncul di tempat lain atau tidak muncul sama sekali, sehingga menebak tanpa mengambil segmen yang tepat akan gagal. Penilaian: kecocokan persis huruf yang dipilih dengan opsi acuan; item ini dihitung ke akurasi keseluruhan.

Belum ada skor terverifikasi yang dilaporkan untuk benchmark ini.