Cet article analyse la fusion adaptative guidée par XAI (XGAF) pour la reconnaissance multimodale des émotions et des sentiments, en se concentrant sur l'interaction entre les méthodes de réduction d'attribution SHAP et les dimensionalités des caractéristiques des experts. Les auteurs démontrent que la réduction par somme-abs préserve mieux la masse totale de l'attribution que les réductions par moyenne-abs ou médiane-abs, qui peuvent supprimer les experts inter-modaux à haute dimensionnalité.
- Sur la reconnaissance d'émotions à 7 classes de MELD, XGAF avec somme-abs atteint un F1 pondéré de 0,5983 avec l'agrégation Transformer, correspondant statistiquement à la fusion précoce (0,6018) et surpassant significativement la fusion tardive (0,4598).
- Sur la reconnaissance de sentiments à 3 classes de CMU-MOSEI, XGAF avec somme-abs atteint un F1 pondéré de 0,6519, dépassant légèrement la fusion précoce (0,6485) et la fusion tardive (0,5696).
- Les études d'ablation indiquent que les gains de performance proviennent principalement de l'ajout d'experts inter-modaux, en particulier l'expert trimodal, plutôt que d'un routage complexe par échantillon.
- Les diagnostics révèlent que les poids moyenne-abs et médiane-abs deviennent presque uniformes, tandis que les poids somme-abs se concentrent efficacement sur l'expert trimodal.
Ce travail fournit une analyse empirique transparente de la manière dont les techniques de réduction SHAP, la dimensionalité des experts et la conception des experts inter-modaux influencent les performances de la fusion multimodale modulaire.