Pesquisadores apresentam um pipeline unificado de recuperação para cenários de direção autônoma que integra embeddings visuais com representações baseadas em trajetória para abordar as limitações das abordagens de modalidade única.
- O estudo investiga dois métodos de trajetória: Exo-Trajectory, um método de correspondência explícita baseado no movimento de agentes circundantes, e ScenarioFormer, uma representação baseada em transformer aprendida por meio de aprendizado contrastivo.
- As representações de trajetória demonstram forte desempenho para eventos centrados no movimento, como cortes de tráfego, manobras de curva e filas de trânsito.
- Os embeddings visuais se destacam quando as pistas de aparência são informativas.
- Combinar informações visuais e de trajetória melhora consistentemente a qualidade da recuperação, gerando o melhor desempenho geral.
Esses achados indicam que a captura de aparência e movimento são noções complementares de similaridade de cenário, motivando sistemas multimodais para mineração de dados, curadoria de conjuntos de dados e validação baseada em cenários.