SeRIn mengurai fusi multimodal untuk analisis sentimen

Peneliti mengusulkan SeRIn (Segregate, Refine, Integrate), sebuah skema fusi model bahasa multimodal yang memisahkan penyempurnaan sinyal spesifik modalitas dan interaksi lintas-modalitas sebagai prior arsitektural.

• Representasi spesifik modalitas berevolusi sepanjang jalur terisolasi, disempurnakan terhadap konteks encoder masing-masing.
• Jalur lintas-modalitas khusus mengakumulasi evolusi gabungan tanpa mencemari aliran unimodal.
• Interaksi lintas-modalitas penuh ditunda ke langkah prediksi akhir.
• Ablasi mengonfirmasi bahwa interaksi terstruktur, bukan kapasitas tambahan, yang mendorong peningkatan kinerja.

SeRIn mencapai hasil state-of-the-art pada benchmark CH-SIMS dan CMU-MOSEI, meningkatkan semua metrik pada kedua dataset.