本文分析了XAI引导的自适应融合（XGAF）在跨模态情绪和情感识别中的应用，重点探讨SHAP归因简化方法如何与专家特征维度相互作用。作者证明，sum-abs简化比mean-abs或median-abs简化更好地保留了总归因质量，后者可能抑制高维跨模态专家。

  • 在MELD 7类情绪识别任务中，sum-abs XGAF结合Transformer聚合实现加权F1为0.5983，与早期融合（0.6018）统计等效，并显著优于晚期融合（0.4598）。
  • 在CMU-MOSEI 3类情感识别任务中，sum-abs XGAF达到0.6519加权F1，略高于早期融合（0.6485）和晚期融合（0.5696）。
  • 消融研究表明，性能提升主要源于添加跨模态专家，尤其是三模态专家，而非复杂的逐样本路由机制。
  • 诊断结果显示，mean-abs和median-abs权重趋于均匀分布，而sum-abs权重有效集中于三模态专家。

该工作提供了关于SHAP简化技术、专家维度及跨模态专家设计如何影响模块化多模态融合性能的透明实证分析。