Para penulis mengusulkan VEGAS (Video caption Evaluation via GAze Score), sebuah metrik tanpa pelatihan yang memanfaatkan pandangan saat pengujian untuk mengambil sampel teks yang dipersonalisasi dan selaras dengan perhatian untuk caption video. Ini adalah metrik informasi lintas modal yang mengkuantifikasi seberapa baik caption kandidat sesuai dengan fokus penonton.
- VEGAS menggunakan aktivitas egosentris dan slide instruksional yang dipasangkan dengan pandangan tersinkronisasi dan anotasi referensi untuk evaluasi.
- Caption dipilih melalui penolakan sampling tanpa pelatihan ulang model.
- Eksperimen menunjukkan bahwa caption yang dipilih oleh VEGAS selaras secara signifikan lebih baik dengan fokus manusia.
- Metode ini meningkatkan pengambilan kembali caption ke video di tahap berikutnya.
Karya ini mendemonstrasikan utilitas praktis dari memasukkan perhatian penonton selama inferensi.