本論文は、マルチモーダル感情および感情認識におけるXAI誘導適応的融合（XGAF）を分析し、SHAP属性削減手法が専門家の特徴次元数とどのように相互作用するかについて焦点を当てている。著者らは、合計絶対値削減が平均絶対値や中央値絶対値削減よりも総属性質量をよく保存することを示しており、後者の手法は高次元のクロスモーダル専門家を抑制する可能性がある。

  • MELDの7クラス感情認識において、合計絶対値XGAFはTransformer集約を用いて加重F1スコア0.5983を達成し、早期融合（0.6018）と統計的に同等であり、後期融合（0.4598）を有意に上回った。
  • CMU-MOSEIの3クラス感情認識において、合計絶対値XGAFは加重F1スコア0.6519を達成し、早期融合（0.6485）および後期融合（0.5696）をわずかに上回った。
  • アブレーション研究により、性能向上の主な要因が複雑なサンプルごとのルーティングではなく、クロスモーダル専門家、特にトリモーダル専門家の追加にあることが示された。
  • 診断結果から、平均絶対値および中央値絶対値の重みがほぼ均一になるのに対し、合計絶対値の重みはトリモーダル専門家に効果的に集中することが明らかになった。

本取り組みは、SHAP削減技術、専門家の次元数、およびクロスモーダル専門家の設計がモジュラーなマルチモーダル融合性能に与える影響について、透明性のある実証的分析を提供する。