Dataset CSB mengungkap bahwa MLLM menghilangkan kesenjangan akurasi deskripsi adegan perilaku sosial kompleks

Studi ini memperkenalkan dataset Complex Social Behavior (CSB), yang berisi 100 gambar interaksi sosial kompleks, untuk mengevaluasi model visi-bahasa selama satu dekade (2017-2025). Penelitian ini menganalisis lima jenis kesalahan visual-kognitif di empat Pre-Multimodal Large Language Models (MLLM) dan lima MLLM.

• Pre-MLM mencapai akurasi yang lebih rendah daripada deskripsi manusia peringkat terbawah, sementara MLLM menyamai manusia peringkat teratas.
• MLLM menghilangkan kesenjangan akurasi antara adegan MS-COCO sederhana dan adegan CSB kompleks.
• Ditemukan bahwa kesalahan deteksi, pengenalan, dan halusinasi memiliki dampak tertinggi terhadap akurasi deskripsi adegan.
• Kesalahan ketergantungan spasial tetap menjadi satu-satunya jenis kesalahan signifikan untuk MLLM dalam evaluasi ini.

Temuan ini memberikan evaluasi yang lebih menyeluruh tentang bagaimana model visi-bahasa telah maju, menunjukkan bahwa MLLM hampir menghilangkan sebagian besar jenis kesalahan kecuali ketergantungan spasial.