研究人员提出了 SeRIn（Segregate, Refine, Integrate），这是一种多模态语言模型融合方案，它将特定模态的信号细化与跨模态交互的分离作为架构先验。

  • 特定模态的表示沿隔离路径演化，并针对各自编码器的上下文进行细化。
  • 专用的跨模态路径累积联合演化，而不污染单模态流。
  • 完整的跨模态交互被推迟到最终的预测步骤。
  • 消融实验证实，结构化交互而非增加容量带来了性能提升。

SeRIn 在 CH-SIMS 和 CMU-MOSEI 基准测试中取得了最先进结果，改善了两个数据集上的所有指标。