Makalah ini menganalisis fusi adaptif yang dipandu XAI (XGAF) untuk pengenalan emosi dan sentimen multimodal, dengan fokus pada bagaimana metode reduksi atribusi SHAP berinteraksi dengan dimensi fitur ahli. Penulis menunjukkan bahwa reduksi sum-abs mempertahankan massa atribusi total lebih baik daripada reduksi mean-abs atau median-abs, yang dapat menekan ahli lintas-modus berdimensi tinggi.
- Pada pengenalan emosi 7 kelas MELD, XGAF sum-abs mencapai F1 tertimbang sebesar 0.5983 dengan agregasi Transformer, secara statistik setara dengan fusi awal (0.6018) dan secara signifikan mengungguli fusi akhir (0.4598).
- Pada pengenalan sentimen 3 kelas CMU-MOSEI, XGAF sum-abs mencapai F1 tertimbang 0.6519, sedikit melampaui fusi awal (0.6485) dan fusi akhir (0.5696).
- Studi ablasi menunjukkan bahwa peningkatan kinerja terutama berasal dari penambahan ahli lintas-modus, khususnya ahli trimodal, alih-alih pengalihan per-sampel yang kompleks.
- Diagnostik mengungkapkan bahwa bobot mean-abs dan median-abs menjadi hampir seragam, sedangkan bobot sum-abs secara efektif terkonsentrasi pada ahli trimodal.
Karya ini memberikan analisis empiris transparan tentang bagaimana teknik reduksi SHAP, dimensi ahli, dan desain ahli lintas-modus memengaruhi kinerja fusi multimodal modular.