멀티모달 프레임워크가 자율 주행 시나리오 검색을 위해 시각 및 궤적 표현 결합

연구자들은 단일 모달리티 접근 방식의 한계를 해결하기 위해 시각 임베딩과 궤적 기반 표현을 통합한 자율 주행 시나리오를 위한 통합 검색 파이프라인을 제시했다.

• 본 연구는 두 가지 궤적 방법을 조사한다: 주변 에이전트의 움직임을 기반으로 하는 명시적 매칭 방법인 Exo-Trajectory와 대조적 학습을 통해 학습된 Transformer 기반 표현인 ScenarioFormer.
• 궤적 표현은 cut-ins, 회전 기동, 교통 대기 등 운동 중심 이벤트에 대해 강력한 성능을 보인다.
• 시각 임베딩은 외관 단서가 유용할 때 우수하다.
• 시각 정보와 궤적 정보를 결합하면 검색 품질이 일관되게 향상되어 가장 우수한 전반적인 성능을 제공한다.

이러한 발견은 외관과 운동 포착이 시나리오 유사성의 상호 보완적인 개념임을 나타내며, 데이터 마이닝, 데이터셋 큐레이션 및 시나리오 기반 검증을 위한 멀티모달 시스템의 동기를 부여한다.