연구자들은 모달리티 고유 신호의 정제와 크로스모달 상호작용을 아키텍처 사전으로 분리하도록 강제하는 멀티모달 언어 모델 융합 방식인 SeRIn(Segregate, Refine, Integrate)을 제안했습니다.

  • 모달리티 고유 표현은 고립된 경로를 따라 진화하며 각각의 인코더 컨텍스트에 대해 정제됩니다.
  • 전용 크로스모달 경로는 유니모달 스트림을 오염시키지 않고 결합 진화를 축적합니다.
  • 완전한 크로스모달 상호작용은 최종 예측 단계로 연기됩니다.
  • 아블레이션 실험을 통해 구조화된 상호작용이 추가된 용량이 아닌 성능 향상을 주도한다는 것이 확인되었습니다.

SeRIn은 CH-SIMS 및 CMU-MOSEI 벤치마크에서 최상위 결과를 달성하여 두 데이터세트의 모든 지표를 개선했습니다.