研究者らは、SeRIn（Segregate, Refine, Integrate）を提案した。これは、モダリティ固有の信号の精緻化とクロスモーダル相互作用をアーキテクチャ上の事前知識として分離することを強制するマルチモーダル言語モデル融合スキームである。

  • モダリティ固有の表現は孤立した経路に沿って進化し、それぞれのエンコーダコンテキストに対して精緻化される。
  • 専用のクロスモーダル経路が、ユニモーダルストリームを汚染することなく結合した進化を蓄積する。
  • 完全なクロスモーダル相互作用は最終的な予測ステップに延期される。
  • アブレーションにより、構造化された相互作用が追加された容量ではなく性能向上を駆動することが確認された。

SeRInはCH-SIMSおよびCMU-MOSEIベンチマークで最先端の結果を達成し、両データセットのすべての指標を改善した。