본 논문은 다모달 감정 및 감정 분석을 위한 XAI 가이드 적응형 융합(XGAF)을 분석하며, SHAP 속성 감소 방법이 전문가 특징의 차원과 어떻게 상호작용하는지에 초점을 맞춥니다. 저자들은 합-절대값(sum-abs) 감소가 평균-절대값(mean-abs) 또는 중앙값-절대값(median-abs) 감소보다 총 속성 질량을 더 잘 보존하며, 이는 고차원 교차 모달 전문가를 억제할 수 있음을 보여줍니다.
- MELD 7클래스 감정 분석에서 합-절대값 XGAF는 Transformer 집계와 함께 가중 F1 점수 0.5983을 달성하여 조기 융합(0.6018)과 통계적으로 동등하며 후기 융합(0.4598)을 유의미하게 상회합니다.
- CMU-MOSEI 3클래스 감정 분석에서 합-절대값 XGAF는 가중 F1 점수 0.6519를 달성하여 조기 융합(0.6485)과 후기 융합(0.5696)을 약간 상회합니다.
- 아블레이션 연구는 성능 향상이 복잡한 샘플별 라우팅보다는 교차 모달 전문가, 특히 삼모달 전문가(trimodal expert)의 추가에서 주로 비롯됨을 나타냅니다.
- 진단 결과 평균-절대값 및 중앙값-절대값 가중치가 거의 균일해지는 반면, 합-절대값 가중치는 효과적으로 삼모달 전문가에 집중됩니다.
본 연구는 SHAP 감소 기법, 전문가 차원, 그리고 교차 모달 전문가 설계가 모듈형 다모달 융합 성능에 미치는 영향을 투명하게 분석한 실증적 연구를 제공합니다.