研究者たちは、単一モダリティ手法の限界に対処するため、視覚埋め込みと軌道ベースの表現を統合した自律走行シナリオのための統一された検索パイプラインを発表した。

  • 本研究は2つの軌道手法を調査している：周囲のエージェントの動きに基づく明示的なマッチング手法であるExo-Trajectoryと、対照的学習によって学習されるTransformerベースの表現であるScenarioFormer。
  • 軌道表現は、cut-ins、旋回 maneuver、交通渋滞など、運動中心のイベントに対して強力なパフォーマンスを示す。
  • 視覚埋め込みは、外観手がかりが有用な場合に優れている。
  • 視覚情報と軌道情報を組み合わせることで、検索品質が一貫して向上し、最も優れた全体的なパフォーマンスをもたらす。

これらの知見は、外観と運動の捕捉がシナリオ類似性の補完的な概念であることを示しており、データマイニング、データセットキュレーション、およびシナリオベースの検証のためのマルチモーダルシステムの動機づけとなっている。