يقترح الباحثون SeRIn (Segregate, Refine, Integrate)، وهو مخطط لدمج النماذج اللغوية متعددة الوسائط يفرض فصل تحسين الإشارة الخاص بالوسيط والتفاعل عبر الوسائط كأولوية معمارية.
- تتطور التمثيلات الخاصة بالوسيط على مسارات معزولة، ويتم تحسينها مقابل سياق المشفر الخاص بها.
- تجمع مسار مخصص للتفاعل عبر الوسائط التطور المشترك دون تلويث التدفقات أحادية الوسيط.
- يتم تأجيل التفاعل الكامل عبر الوسائط إلى خطوة التنبؤ النهائية.
- تؤكد التجارب الاستئنائية أن التفاعلات المهيكلة، وليس السعة المضافة، هي التي تقود تحسينات الأداء.
حقق SeRIn نتائج متقدمة على معايير CH-SIMS وCMU-MOSEI، محسناً جميع المقاييس في كلتا المجموعتين.