研究人员提出了视觉语义熵（VSE），这是一种通过仅扰动图像而保持文本查询固定来测量视觉语言模型中不确定性的方法。该方法解决了现有基于熵的方法由于过度自信的嵌入或文本主导而无法准确捕捉视觉歧义的问题。
- VSE将生成的答案聚类为语义原型，并计算它们之间的质量加权离散度。
- 该方法通过避免文本改写，将视觉证据与提示敏感性隔离开来。
- 在五个现代视觉语言模型和五个多样化的VQA基准上的评估证明了其有效性。
- VSE为VLM不确定性估计确立了新的SOTA。
作者认为这很重要，因为它提供了更准确的视觉歧义度量，克服了依赖输出多样性或输入扰动的先前技术的局限性。