Os autores propõem o VEGAS (Video caption Evaluation via GAze Score), uma métrica sem treinamento que utiliza o olhar durante o tempo de teste para amostrar texto personalizado e alinhado à atenção para legendas de vídeo. É uma métrica intermodal e info- teórica que quantifica o quão bem uma legenda candidata corresponde ao foco do espectador.
- O VEGAS utiliza atividades egocêntricas e slides instrucionais pareados com olhar sincronizado e anotações de referência para avaliação.
- As legendas são selecionadas via amostragem por rejeição sem retreinamento do modelo.
- Experimentos mostram que as legendas selecionadas pelo VEGAS se alinham significativamente melhor com o foco humano.
- O método melhora a recuperação posterior de vídeo a partir de legendas.
O trabalho demonstra a utilidade prática de incorporar a atenção do espectador durante a inferência.