Исследователи предлагают SeRIn (Segregate, Refine, Integrate), схему слияния мультимодальных языковых моделей, которая устанавливает разделение уточнения сигналов, специфичных для модальности, и кросс-модального взаимодействия в качестве архитектурного приоритета.
- Представления, специфичные для модальности, эволюционируют по изолированным путям, уточняясь относительно контекста соответствующих кодировщиков.
- Выделенный кросс-модальный путь накапливает совместную эволюцию, не загрязняя униформодальные потоки.
- Полное кросс-модальное взаимодействие откладывается до финального шага предсказания.
- Абляции подтверждают, что структурированные взаимодействия, а не добавленная емкость, обеспечивают прирост производительности.
SeRIn достигает лучших результатов на бенчмарках CH-SIMS и CMU-MOSEI, улучшая все метрики на обоих наборах данных.