Les auteurs proposent VEGAS (Video caption Evaluation via GAze Score), une métrique sans entraînement qui exploite le regard au moment du test pour échantillonner un texte personnalisé et aligné sur l'attention pour les légendes vidéo. Il s'agit d'une métrique intermodale et informationnelle qui quantifie la correspondance entre une légende candidate et le focus du spectateur.
- VEGAS utilise des activités égocentriques et des diapositives instructives associées à un regard synchronisé et à des annotations de référence pour l'évaluation.
- Les légendes sont sélectionnées par échantillonnage par rejet sans réentraînement du modèle.
- Les expériences montrent que les légendes sélectionnées par VEGAS s'alignent significativement mieux avec le focus humain.
- La méthode améliore la récupération en aval de légende vers vidéo.
Ce travail démontre l'utilité pratique de l'intégration de l'attention du spectateur lors de l'inférence.