Este artigo analisa a fusão adaptativa guiada por XAI (XGAF) para reconhecimento multimodal de emoção e sentimento, focando em como os métodos de redução de atribuição SHAP interagem com as dimensionalidades das características dos especialistas. Os autores demonstram que a redução sum-abs preserva melhor a massa total de atribuição do que as reduções mean-abs ou median-abs, que podem suprimir especialistas cross-modais de alta dimensionalidade.
- No reconhecimento de emoção em 7 classes do MELD, o XGAF com sum-abs alcança um F1 ponderado de 0.5983 com agregação Transformer, correspondendo estatisticamente à fusão precoce (0.6018) e superando significativamente a fusão tardia (0.4598).
- No reconhecimento de sentimento em 3 classes do CMU-MOSEI, o XGAF com sum-abs atinge 0.6519 de F1 ponderado, ligeiramente excedendo a fusão precoce (0.6485) e a fusão tardia (0.5696).
- Estudos de ablação indicam que os ganhos de desempenho derivam principalmente da adição de especialistas cross-modais, particularmente o especialista trimodal, em vez de roteamento complexo por amostra.
- Diagnósticos revelam que os pesos mean-abs e median-abs tornam-se quase uniformes, enquanto os pesos sum-abs concentram-se efetivamente no especialista trimodal.
O trabalho fornece uma análise empírica transparente de como as técnicas de redução SHAP, a dimensionalidade dos especialistas e o design de especialistas cross-modais influenciam o desempenho da fusão multimodal modular.