Este artículo analiza la fusión adaptativa guiada por XAI (XGAF) para el reconocimiento multimodal de emociones y sentimientos, centrándose en cómo los métodos de reducción de atribución SHAP interactúan con las dimensionalidades de las características de los expertos. Los autores demuestran que la reducción sum-abs preserva mejor la masa total de atribución que las reducciones mean-abs o median-abs, las cuales pueden suprimir a los expertos intermodales de alta dimensionalidad.
- En el reconocimiento de emociones con 7 clases de MELD, XGAF sum-abs alcanza un F1 ponderado de 0.5983 con agregación Transformer, igualando estadísticamente la fusión temprana (0.6018) y superando significativamente a la fusión tardía (0.4598).
- En el reconocimiento de sentimientos con 3 clases de CMU-MOSEI, XGAF sum-abs alcanza un F1 ponderado de 0.6519, superando ligeramente a la fusión temprana (0.6485) y a la fusión tardía (0.5696).
- Los estudios de ablation indican que las ganancias de rendimiento provienen principalmente de añadir expertos intermodales, particularmente el experto trimodal, en lugar de un enrutamiento complejo por muestra.
- Los diagnósticos revelan que los pesos mean-abs y median-abs se vuelven casi uniformes, mientras que los pesos sum-abs se concentran eficazmente en el experto trimodal.
El trabajo proporciona un análisis empírico transparente de cómo las técnicas de reducción SHAP, la dimensionalidad del experto y el diseño del experto intermodal influyen en el rendimiento de la fusión multimodal modular.