저자들은 VEGAS(Video caption Evaluation via GAze Score)를 제안합니다. 이는 훈련이 필요 없는 지표로, 테스트 타임 시선을 활용하여 비디오 캡션에 대해 개인화되고 주의가 일치하는 텍스트를 샘플링합니다. 이는 교차 모달 정보 이론적 지표로, 후보 캡션이 시청자의 초점과 얼마나 잘 일치하는지를 정량화합니다.

  • VEGAS는 평가를 위해 동기화된 시선 및 참조 주석과 페어링된 자기 중심 활동 및 설명 슬라이드를 사용합니다.
  • 캡션은 모델 재학습 없이 거부 샘플링을 통해 선택됩니다.
  • 실험 결과, VEGAS가 선택한 캡션이 인간의 초점과 유의미하게 더 잘 일치하는 것으로 나타났습니다.
  • 이 방법은 하류의 캡션에서 비디오로의 검색 성능을 향상시킵니다.

이 연구는 추론 중 시청자 주의를 통합하는 실용적 유용성을 입증합니다.