Les chercheurs proposent SeRIn (Segregate, Refine, Integrate), un schéma de fusion de modèles linguistiques multimodaux qui impose la séparation du raffinement du signal spécifique à la modalité et de l'interaction inter-modalités comme a priori architectural.
- Les représentations spécifiques à la modalité évoluent le long de voies isolées, affinées par rapport au contexte de leur encodeur respectif.
- Une voie inter-modalités dédiée accumule une évolution conjointe sans contaminer les flux unimodaux.
- L'interaction inter-modalités complète est reportée à une étape de prédiction finale.
- Les ablations confirment que les interactions structurées, et non la capacité ajoutée, sont à l'origine des gains de performance.
SeRIn atteint des résultats de pointe sur les benchmarks CH-SIMS et CMU-MOSEI, améliorant toutes les métriques sur les deux ensembles de données.