शोधकर्ताओं ने एक समन्वित पुनर्प्राप्ति पाइपलाइन प्रस्तुत की है जो स्वचालित ड्राइविंग परिदृश्यों के लिए दृश्य एम्बेडिंग्स को ट्रेजेक्टरी-आधारित प्रतिनिधित्वों के साथ एकीकृत करती है ताकि एकल-मोडलिटी दृष्टिकोणों की सीमाओं को दूर किया जा सके।

  • अध्ययन में दो ट्रेजेक्टरी विधियों का जाँच किया गया है: Exo-Trajectory, जो आसपास के एजेंट्स की गति पर आधारित एक स्पष्ट मिलान विधि है, और ScenarioFormer, जो कंट्रास्टिव लर्निंग के माध्यम से सीखा गया एक ट्रान्सफॉर्मर-आधारित प्रतिनिधित्व है।
  • ट्रेजेक्टरी प्रतिनिधित्व गति-केंद्रित घटनाओं जैसे कि कट-इन, मोड़ने की मैन्युवर और यातायात की कतारों के लिए मजबूत प्रदर्शन दिखाते हैं।
  • जब उपस्थिति संकेत जानकारीपूर्ण होते हैं तो दृश्य एम्बेडिंग्स उत्कृष्ट प्रदर्शन करते हैं।
  • दृश्य और ट्रेजेक्टरी जानकारी को जोड़ने से पुनर्प्राप्ति की गुणवत्ता लगातार सुधार होती है, जिससे सर्वोत्तम समग्र प्रदर्जन प्राप्त होता है।

ये निष्कर्ष संकेत करते हैं कि उपस्थिति और गति का कैप्चर परिदृश्य समानता के पूरक अवधारणाएँ हैं, जो डेटा मिनिंग, डेटासेट करेशन और परिदृश्य-आधारित सत्यापन के लिए बहुमोडल सिस्टम को प्रेरित करते हैं।