Исследователи представляют единый конвейер извлечения для сценариев автономного вождения, который интегрирует визуальные эмбеддинги с представлением на основе траектории, чтобы преодолеть ограничения однодоменных подходов.
- В исследовании рассматриваются два метода работы с траекториями: Exo-Trajectory — метод явного сопоставления на основе движения окружающих агентов, и ScenarioFormer — представление на базе трансформера, обученное с помощью контрастивного обучения.
- Представления на основе траекторий демонстрируют высокую эффективность для событий, связанных с движением, таких как экстренные перестроения, маневры поворота и заторы в потоке.
- Визуальные эмбеддинги показывают лучшие результаты, когда визуальные признаки информативны.
- Объединение визуальной информации и траекторных данных последовательно улучшает качество извлечения, обеспечивая наилучшие общие показатели.
Эти выводы указывают на то, что фиксация внешнего вида и движения являются взаимодополняющими понятиями сходства сценариев, что стимулирует разработку мультимодальных систем для добычи данных, курирования наборов данных и валидации на основе сценариев.