शोधकर्ताओं ने ELSA3D पेश किया, एक एकीकृत 3D फाउंडेशन मॉडल जो मिलते-जुलते अमूर्तीकरण स्केल के साथ भाषा और ज्यामितीय तर्क को संरचित करके अंतर्निहित टेक्स्ट-3D इंटरैक्शन को संबोधित करता है। मॉडल एक स्केल-अवेयर ऑक्ट्री टोकनाइज़र और स्पार्स एंकर टोकन का उपयोग करता है ताकि सेमान्टिक संकेतों को प्रासंगिक 3D स्केल पर रूट किया जा सके, जिससे सटीक क्रॉस-मोडल अलाइनमेंट सुनिश्चित होता है।
- ELSA3D एक हल्के ब्लॉक-दर-ब्लॉक राउटर का उपयोग करता है ताकि गतिशील रूप से निर्धारित किया जा सके कि कौन से टेक्स्ट टोकन विशिष्ट ज्यामितीय स्केल पर एंकर को इंस्टेंशिएट करते हैं।
- यह दृष्टिकोण क्रॉस-मोडल क्षमता को उस जगह पर केंद्रित करता है जहां अलाइनमेंट सबसे अधिक आवश्यक है, जबकि स्पार्स लेकिन सटीक इंटरैक्शन बनाए रखता है।
- इस विधि ने इमेज-टू-3D जनरेशन, टेक्स्ट-टू-3D जनरेशन और 3D कैप्शनिंग में स्टेट-ऑफ़-द-आर्ट प्रदर्शन प्राप्त किया है।
- यह उसी मॉडल के नॉन-एलास्टिक संस्करण की तुलना में FLOPs और इन्फरेंस लेटेंसी को लगभग आधा कर देता है।
ELSA3D सबसे मजबूत एकीकृत बेलाइन से बेहतर प्रदर्शन करता है जबकि गणनात्मक लागतों को काफी कम करता है, एकीकृत 3D कार्यों के लिए एक अधिक कुशल समाधान प्रदान करता है।