Para peneliti menyajikan pipeline pengambilan terpadu untuk skenario mengemudi otonom yang mengintegrasikan embedding visual dengan representasi berbasis lintasan untuk mengatasi keterbatasan pendekatan modalitas tunggal.
- Studi ini menyelidiki dua metode lintasan: Exo-Trajectory, metode pencocokan eksplisit berdasarkan gerakan agen di sekitarnya, dan ScenarioFormer, representasi berbasis transformer yang dipelajari melalui pembelajaran kontrastif.
- Representasi lintasan menunjukkan kinerja yang kuat untuk peristiwa berpusat pada gerakan seperti cut-ins, manuver belok, dan antrean lalu lintas.
- Embedding visual unggul ketika petunjuk penampilan informatif.
- Menggabungkan informasi visual dan lintasan secara konsisten meningkatkan kualitas pengambilan, menghasilkan kinerja keseluruhan terbaik.
Temuan ini menunjukkan bahwa penangkapan penampilan dan gerakan adalah konsep kesamaan skenario yang saling melengkapi, memotivasi sistem multimodal untuk penambangan data, kurasi dataset, dan validasi berbasis skenario.