著者らは、VEGAS（Video caption Evaluation via GAze Score）を提案する。これはトレーニング不要の指標で、テスト時の視線を活用して、動画キャプションに対してパーソナライズされ、注意が同期したテキストをサンプリングする。これはクロスモーダルな情報理論的指標であり、候補のキャプションが視聴者の焦点とどれだけ一致するかを定量化する。

  • VEGASは、評価用に自己中心的活动とインストラクショナルスライドを、同期された視線と参照注釈のペアで使用する。
  • キャプションは、モデルの再学習なしに拒否サンプリングによって選択される。
  • 実験により、VEGASが選択したキャプションは人間の焦点と有意に良く一致することが示された。
  • この手法は、ダウンストリームのキャプションから動画への検索を改善する。

この研究は、推論中に視聴者の注意を組み込むことの実際の有用性を実証している。