В данной статье анализируется адаптивное слияние, направляемое объяснимым ИИ (XGAF), для мультимодального распознавания эмоций и тональности, уделяя особое внимание тому, как методы снижения атрибуции SHAP взаимодействуют с размерностью признаков экспертов. Авторы демонстрируют, что снижение методом суммы модулей лучше сохраняет общую массу атрибуции по сравнению со снижением методом среднего модуля или медианы модуля, которые могут подавлять высокомерных кросс-модальных экспертов.
- При распознавании эмоций по 7 классам на датасете MELD XGAF с суммой модулей достигает взвешенного F1 равного 0.5983 при агрегации на основе Transformer, статистически совпадая с ранним слиянием (0.6018) и значительно превосходя позднее слияние (0.4598).
- При распознавании тональности по 3 классам на датасете CMU-MOSEI XGAF с суммой модулей достигает взвешенного F1 равного 0.6519, незначительно превышая раннее слияние (0.6485) и позднее слияние (0.5696).
- Исследования аблиации показывают, что прирост производительности в первую очередь обусловлен добавлением кросс-модальных экспертов, особенно тримодального эксперта, а не сложной маршрутизации на уровне каждого образца.
- Диагностика выявляет, что веса среднего модуля и медианы модуля становятся почти равномерными, тогда как веса суммы модулей эффективно концентрируются на тримодальном эксперте.
Работа предоставляет прозрачный эмпирический анализ того, как методы снижения SHAP, размерность экспертов и проектирование кросс-модальных экспертов влияют на производительность модульного мультимодального слияния.