Авторы предлагают VEGAS (Video caption Evaluation via GAze Score), метрику без дообучения, которая использует взгляд во время тестирования для выборки персонализированного текста, согласованного с вниманием, для описаний видео. Это кросс-модальная информационно-теоретическая метрика, которая количественно оценивает, насколько хорошо кандидатское описание соответствует фокусу зрителя.
- VEGAS использует эгоцентрическую активность и инструктивные слайды, сопоставленные с синхронизированным взглядом и эталонными аннотациями для оценки.
- Описания отбираются посредством отклоняющей выборки без переобучения модели.
- Эксперименты показывают, что описания, выбранные VEGAS, значительно лучше согласуются с человеческим вниманием.
- Метод улучшает последующий поиск видео по описанию.
Работа демонстрирует практическую полезность включения внимания зрителя во время вывода.