Исследователи разработали бенчмарк для оценки способности моделей vision-language (VLM) использовать многоязычные пространственные дейктические выражения, такие как "этот" и "тот", на четырех языках. Исследование фокусируется на том, насколько хорошо эти модели совместно рассуждают над языком и визуальным пространством, чтобы привязывать контекстно-зависимые ссылки к пространственной структуре изображения.
- Бенчмарк проверяет способность VLM выбирать подходящие пространственные дейктические выражения на основе ситуационного контекста и специфических для языка пространственных различий.
- Эксперименты показывают, что тестируемые модели используют указательные местоимения иначе, чем люди, особенно в отношении выбора соответствующих указательных местоимений в зависимости от расстояния до объекта.
Эта оценка выявляет конкретные пробелы в том, как текущие VLM справляются со сложными задачами пространственного рассуждения по сравнению с человеческой производительностью.