Los investigadores desarrollaron un benchmark para evaluar la capacidad multilingüe de los modelos vision-language (VLM) para usar expresiones deícticas espaciales, como "este" y "ese", en cuatro idiomas. El estudio se centra en qué tan bien estos modelos razonan conjuntamente sobre el lenguaje y el espacio visual para fundamentar referencias dependientes del contexto en la estructura espacial de una imagen.
- El benchmark prueba la capacidad de los VLM para seleccionar expresiones deícticas espaciales apropiadas basándose en el contexto situacional y las distinciones espaciales específicas del idioma.
- Los experimentos revelan que los modelos probados usan demostrativos de manera diferente a los humanos, particularmente con respecto a la selección de demostrativos apropiados según la distancia al objeto.
Esta evaluación destaca brechas específicas en cómo los VLM actuales manejan tareas complejas de razonamiento espacial en comparación con el rendimiento humano.