作者提出了 VEGAS(Video caption Evaluation via GAze Score),这是一种无需训练的指标,利用测试时的注视来采样个性化、注意力对齐的文本用于视频描述。它是一种跨模态信息论指标,量化候选描述与观众焦点的匹配程度。

  • VEGAS 使用第一人称活动与教学幻灯片配对,并结合同步注视和参考注释进行评估。
  • 通过拒绝采样选择描述,无需重新训练模型。
  • 实验表明,VEGAS 选出的描述与人类注意力显著更好地对齐。
  • 该方法改进了下游的描述到视频检索任务。

这项工作展示了在推理过程中融入观众注意力的实用价值。