शोधकर्ता SeRIn (Segregate, Refine, Integrate) का प्रस्ताव करते हैं, जो एक बहुआयामी भाषा मॉडल फ्यूजन योजना है जो आर्किटेक्चरल प्रायोर के रूप में आयाम-विशिष्ट सिग्नल रिफाइनमेंट और क्रॉस-मोडल इंटरैक्शन के पृथक्करण को लागू करती है।
- आयाम-विशिष्ट प्रतिनिधित्व अलग-अलग मार्गों पर विकसित होते हैं, जो अपने संबंधित एन्कोडर संदर्भ के खिलाफ रिफाइन किए जाते हैं।
- एक समर्पित क्रॉस-मोडल मार्क एकत्रित सह विकास को एकत्र करता है बिना अकेले आयमिक स्ट्रीम को दूषित किए।
- पूर्ण क्रॉस-मोडल इंटरैक्शन को अंतिम पूर्वानुमान चरण के लिए स्थगित कर दिया जाता है।
- एब्लेशन पुष्टि करते हैं कि संरचित इंटरैक्शन, न कि जोड़ी गई क्षमता, प्रदर्शन लाभ का कारण बनते हैं।
SeRIn CH-SIMS और CMU-MOSEI बेंचमार्क पर शीर्ष परिणाम प्राप्त करता है, दोनों डेटासेट पर सभी मेट्रिक्स में सुधार करता है।