연구자들은 텍스트 쿼리는 고정하고 이미지만 섭동시켜 비전-언어 모델의 불확실성을 측정하는 방법인 시각적 의미 엔트로피(VSE)를 제안한다. 이 접근 방식은 과신된 임베딩이나 텍스트의 지배로 인해 기존 엔트로피 기반 방법이 시각적 모호성을 정확하게 포착하지 못하는 문제를 해결한다.

  • VSE는 생성된 답변을 의미 프로토타입으로 클러스터링하고 그들 간에 질량 가중 분산을 계산한다.
  • 텍스트 파라프레이싱을 피함으로써 프롬프트 민감도에서 시각적 증거를 분리한다.
  • 5개의 현대적인 비전-언어 모델과 5개의 다양한 VQA 벤치마크에 대한 평가가 효과성을 입증한다.
  • VSE는 VLM 불확실성 추정을 위한 새로운 state-of-the-art을 확립한다.

저자들은 이것이 출력 다양성이나 입력 섭동에 의존하던 이전 기술의 한계를 극복하여 시각적 모호성에 대한 더 정확한 측정치를 제공하기 때문에 중요하다고 본다.