Les chercheurs présentent AUTOPILOT-VQA, un nouveau benchmark de question-réponse visuelle conçu pour évaluer la capacité des modèles vision-langage à raisonner sur des incidents critiques pour la sécurité dans les vidéos de dashcam. Le jeu de données utilise des questions structurées basées sur des scénarios de conduite réels pour évaluer les capacités des modèles au-delà de la simple reconnaissance d'objets.
- Le benchmark couvre des catégories diverses pertinentes pour la sécurité, notamment la météo, l'éclairage, la disposition de la route, la signalisation et la possibilité d'éviter un accident.
- Il exige que les modèles répondent à des questions ancrées sur les propriétés contextuelles de la scène ainsi que sur les détails spécifiques des incidents au niveau des événements.
- Cette approche déplace l'accent vers un raisonnement temporellement ancré et conscient de la sécurité pour les systèmes de conduite autonome.
- Le jeu de données est publié dans le cadre du concours AUTOPILOT CVPR 2026 pour fournir un outil d'évaluation standardisé.
Les auteurs considèrent cela comme important car il soutient le développement de systèmes vision-langage plus interprétables et robustes pour la conduite autonome en conditions réelles.