Los autores proponen VEGAS (Video caption Evaluation via GAze Score), una métrica sin entrenamiento que aprovecha la mirada durante el tiempo de prueba para muestrear texto personalizado y alineado a la atención para las descripciones de video. Es una métrica intermodal e info- teórica que cuantifica qué tan bien una descripción candidata coincide con el enfoque del espectador.
- VEGAS utiliza actividades egocéntricas y diapositivas instructivas emparejadas con mirada sincronizada y anotaciones de referencia para la evaluación.
- Las descripciones se seleccionan mediante muestreo por rechazo sin reentrenamiento del modelo.
- Los experimentos muestran que las descripciones seleccionadas por VEGAS se alinean significativamente mejor con el enfoque humano.
- El método mejora la recuperación posterior de video a partir de descripciones.
El trabajo demuestra la utilidad práctica de incorporar la atención del espectador durante la inferencia.