研究者らは、テキストクエリを固定したまま画像のみを摂動させることでビジョン・ランゲージモデルの不確実性を測定する手法である視覚的意味エントロピー（VSE）を提案する。このアプローチは、過信された埋め込みやテキストの支配により、既存のエントロピーベース手法が視覚的な曖昧さを正確に捉えられないという課題に対処する。

  • VSEは生成された回答を意味プロトタイプにクラスタリングし、それらの間で質量加重分散を計算する。
  • テキストのパラフレーズを避けることで、プロンプトの感度から視覚的証拠を分離する。
  • 5つの現代的なビジョン・ランゲージモデルと5つの多様なVQAベンチマークにわたる評価が有効性を示している。
  • VSEはVLMの不確実性推定において新たなstate-of-the-artを樹立する。

著者らは、これが視覚的な曖昧さのより正確な測定を提供し、出力の多様性や入力の摂動に依存していた以前の手法の限界を克服するため重要だと考えている。