Pesquisadores desenvolveram um benchmark para avaliar a capacidade multilíngue dos modelos vision-language (VLM) de usar expressões deícticas espaciais, como "este" e "aquele", em quatro idiomas. O estudo foca em quão bem esses modelos raciocinam conjuntamente sobre linguagem e espaço visual para fundamentar referências dependentes do contexto na estrutura espacial de uma imagem.
- O benchmark testa a capacidade dos VLMs de selecionar expressões deícticas espaciais apropriadas com base no contexto situacional e nas distinções espaciais específicas do idioma.
- Experimentos revelam que os modelos testados usam demonstrativos de maneira diferente dos humanos, particularmente em relação à seleção de demonstrativos apropriados com base na distância até o objeto.
Esta avaliação destaca lacunas específicas em como os VLMs atuais lidam com tarefas complexas de raciocínio espacial em comparação com o desempenho humano.