Исследователи представляют AUTOPILOT-VQA, новый бенчмарк визуального ответа на вопросы (VQA), предназначенный для оценки того, насколько хорошо модели «зрение-язык» рассуждают о критически важных для безопасности инцидентах в видео с видеорегистраторов. Набор данных использует структурированные вопросы, основанные на реальных дорожных ситуациях, для оценки возможностей моделей за пределами простого распознавания объектов.
- Бенчмарк охватывает разнообразные категории, связанные с безопасностью, включая погоду, освещение, планировку дороги, дорожные знаки и возможность предотвращения аварии.
- Он требует от моделей отвечать на обоснованные вопросы как о контекстуальных свойствах сцены, так и о конкретных деталях инцидентов на уровне событий.
- Этот подход смещает фокус в сторону рассуждений, привязанных ко времени и учитывающих безопасность, для систем автономного вождения.
- Набор данных выпущен в рамках конкурса AUTOPILOT CVPR 2026 для обеспечения стандартизированного инструмента оценки.
Авторы считают это важным, поскольку это поддерживает разработку более интерпретируемых и надежных систем «зрение-язык» для реального автономного вождения.