Los investigadores proponen SeRIn (Segregate, Refine, Integrate), un esquema de fusión de modelos de lenguaje multimodal que impone la separación del refinamiento de señales específicas de la modalidad y la interacción entre modalidades como una prioridad arquitectónica.
- Las representaciones específicas de la modalidad evolucionan a lo largo de vías aisladas, refinadas en función del contexto de sus respectivos codificadores.
- Una vía dedicada entre modalidades acumula la evolución conjunta sin contaminar los flujos unimodales.
- La interacción completa entre modalidades se pospone hasta el paso final de predicción.
- Las ablaciones confirman que las interacciones estructuradas, y no la capacidad añadida, impulsan las mejoras de rendimiento.
SeRIn logra resultados de última generación en los benchmarks CH-SIMS y CMU-MOSEI, mejorando todas las métricas en ambos conjuntos de datos.