Los investigadores presentan AUTOPILOT-VQA, un nuevo benchmark de preguntas visuales (VQA) diseñado para evaluar cómo razonan los modelos de visión e idioma sobre incidentes críticos para la seguridad en vídeos de cámaras de a bordo. El conjunto de datos utiliza preguntas estructuradas basadas en escenarios de conducción del mundo real para evaluar las capacidades de los modelos más allá del simple reconocimiento de objetos.
- El benchmark cubre diversas categorías relevantes para la seguridad, incluyendo clima, iluminación, diseño de la carretera, señalización y evitabilidad del accidente.
- Requiere que los modelos respondan preguntas fundamentadas tanto sobre propiedades contextuales de la escena como sobre detalles específicos de incidentes a nivel de evento.
- Este enfoque desplaza el foco hacia un razonamiento temporalmente fundamentado y consciente de la seguridad para sistemas de conducción autónoma.
- El conjunto de datos se publica como parte del concurso AUTOPILOT CVPR 2026 para proporcionar una herramienta de evaluación estandarizada.
Los autores consideran esto importante porque apoya el desarrollo de sistemas de visión e idioma más interpretables y robustos para la conducción autónoma en el mundo real.