研究者たちは、ビジョンランゲージモデル（VLMs）が「これ」や「あれ」といった空間指示表現を4つの言語にわたって使用できる多言語能力を評価するためのベンチマークを開発した。この研究は、これらのモデルが文脈依存の参照を画像の空間構造に grounding するために、言語と視覚空間をどのように共同で推論するか侧重于している。

  • このベンチマークは、状況的文脈と言語固有の空間区別に基づいて、適切な空間指示表現を選択するVLMsの能力をテストする。
  • 実験により、テストされたモデルは、物体への距離に基づいて適切な指示詞を選択することに関して、特に人間とは異なる方法で指示詞を使用することが明らかになった。

この評価は、現在のVLMsが人間の性能と比較して複雑な空間推論タスクをどのように扱うかにおける特定のパラドックスを浮き彫りにしている。