Les chercheurs ont développé un benchmark pour évaluer la capacité multilingue des modèles vision-langage (VLM) à utiliser des expressions démonstratives spatiales, telles que "this" et "that", dans quatre langues. L'étude se concentre sur la manière dont ces modèles raisonnent conjointement sur le langage et l'espace visuel pour ancrer des références dépendantes du contexte dans la structure spatiale d'une image.
- Le benchmark teste la capacité des VLM à sélectionner des expressions démonstratives spatiales appropriées en fonction du contexte situationnel et des distinctions spatiales spécifiques à chaque langue.
- Les expériences révèlent que les modèles testés utilisent les démonstratifs différemment des humains, notamment en ce qui concerne la sélection de démonstratifs appropriés en fonction de la distance par rapport à l'objet.
Cette évaluation met en lumière des lacunes spécifiques dans la manière dont les VLM actuels traitent les tâches de raisonnement spatial complexe par rapport aux performances humaines.