Un cadre multimodal combine les représentations visuelles et de trajectoire pour la recherche de scénarios de conduite autonome

Les chercheurs présentent un pipeline de récupération unifié pour les scénarios de conduite autonome qui intègre des embeddings visuels avec des représentations basées sur la trajectoire pour pallier les limites des approches à modalité unique.

• L'étude examine deux méthodes de trajectoire : Exo-Trajectory, une méthode de correspondance explicite basée sur le mouvement des agents environnants, et ScenarioFormer, une représentation basée sur un transformer apprise par apprentissage contrastif.
• Les représentations de trajectoire démontrent de fortes performances pour les événements centrés sur le mouvement tels que les cut-ins, les manœuvres de virage et l'embouteillage.
• Les embeddings visuels excellent lorsque les indices d'apparence sont informatifs.
• La combinaison des informations visuelles et de trajectoire améliore systématiquement la qualité de la récupération, offrant les meilleures performances globales.

Ces résultats indiquent que la capture de l'apparence et du mouvement sont des notions complémentaires de similarité de scénario, motivant les systèmes multimodaux pour le data mining, la curation de datasets et la validation basée sur les scénarios.