Pesquisadores propõem o SeRIn (Segregate, Refine, Integrate), um esquema de fusão de modelos de linguagem multimodal que impõe a separação do refinamento de sinais específicos da modalidade e da interação entre modalidades como uma prioridade arquitetônica.
- As representações específicas da modalidade evoluem ao longo de vias isoladas, refinadas em relação ao contexto de seus respectivos codificadores.
- Uma via dedicada entre modalidades acumula a evolução conjunta sem contaminar os fluxos unimodais.
- A interação completa entre modalidades é adiada para a etapa final de previsão.
- Ablações confirmam que as interações estruturadas, e não a capacidade adicionada, impulsionam os ganhos de desempenho.
O SeRIn alcança resultados de ponta nos benchmarks CH-SIMS e CMU-MOSEI, melhorando todas as métricas em ambos os conjuntos de dados.