研究人员提出了一种用于自动驾驶场景的统一检索管道，将视觉嵌入与基于轨迹的表示相结合，以解决单模态方法的局限性。

  • 该研究调查了两种轨迹方法：Exo-Trajectory（一种基于周围智能体运动的显式匹配方法）和 ScenarioFormer（一种通过对比学习学习的基于 Transformer 的表示）。
  • 对于以运动为中心的事件（如切入、转弯机动和交通排队），轨迹表示表现出强大的性能。
  • 当外观线索具有信息量时，视觉嵌入表现出色。
  • 结合视觉和轨迹信息一致地提高了检索质量，实现了最佳的整体性能。

这些发现表明，外观和运动的捕捉是场景相似性的互补概念，这推动了用于数据挖掘、数据集策展和基于场景验证的多模态系统的发展。