लेखकों ने ELSA3D का परिचय दिया, जो एक एकत्रीकृत 3D फाउंडेशन मॉडल है जो मेल खाती अवमूर्तन स्केल के साथ भाषा और ज्यामितीय तर्क को संरचित करके अंतर्निहित पाठ-3D इंटरैक्शन को संबोधित करता है। मॉडल एक स्केल-अवेयर ऑक्ट्री टोकनाइज़र का उपयोग करता है और एंकर टोकन पेश करता है, जो विरल क्रॉस-मोडल इकाइयाँ हैं जो अर्थीय संकेतों को प्रासंगिक 3D स्केल पर रूट करती हैं।
- एंकर टोकन अर्थीय संकेतों का चयन करते हैं, स्केल-विशिष्ट ज्यामितीय प्रमाण पुनर्प्राप्त करते हैं और विलीन संकेत को एकत्रीकृत निरूपण में वापस लिखते हैं।
- प्रति-ब्लॉक हल्का रूटर यह निर्धारित करके कि कौन से पाठ टोकन विशिष्ट ज्यामितीय स्केल पर एंकर को तत्कालीन बनाते हैं, गणना और तर्क को लचीला बनाता है।
- ELSA3D छवि-से-3D उत्पन्न करने, पाठ-से-3D उत्पन्न करने और 3D कैप्शन में राज्य-द-आर्ट प्रदर्शन प्राप्त करता है।
- इस दृष्टिकोण से उसी मॉडल के गैर-लचीले संस्करण की तुलना में FLOPs और इनफरेंस लेटेंसी को आधा कर दिया गया है।
यह विधि क्रॉस-मोडल क्षमता को उस स्थान पर केंद्रित करने देती है जहाँ एलाइनमेंट सबसे अधिक आवश्यक है, जिससे प्रदर्शन को त्यागे बिना दक्षता में सुधार होता है।