연구자들은 비전-라틴 모델(VLMs)이 "this" 및 "that"과 같은 공간 지시적 표현을 네 가지 언어에 걸쳐 사용할 수 있는 다국어 능력을 평가하기 위한 벤치마크를 개발했다. 이 연구는 이러한 모델들이 이미지 내의 공간 구조에 문맥 의존적 참조를 grounding 하기 위해 언어와 시각 공간을 어떻게 공동으로 추론하는지에 초점을 맞춘다.
- 이 벤치마크는 상황적 맥락과 언어 고유한 공간 구분에 따라 적절한 공간 지시적 표현을 선택하는 VLMs의 능력을 테스트한다.
- 실험 결과, 테스트된 모델들은 특히 객체까지의 거리에 기반하여 적절한 지시사를 선택하는 것과 관련하여 인간과는 다른 방식으로 지시사를 사용하는 것으로 나타났다.
이 평가는 현재 VLMs가 인간의 성능과 비교하여 복잡한 공간 추론 작업을 어떻게 처리하는지에 대한 특정 격차를 강조한다.