تحلل هذه الورقة طريقة الدمج التكيفية الموجهة بالتفسيرات القابلة للتفسير (XGAF) للتعرف على العواطف والمشاعر متعددة الوسائط، مع التركيز على كيفية تفاعل طرق تقليل إسناد SHAP مع أبعاد ميزات الخبراء. يوضح المؤلفون أن تقليل المجموع-المطلق يحافظ على كتلة الإسناد الإجمالية بشكل أفضل من تقليلات المتوسط-المطلق أو الوسيط-المطلق، والتي يمكن أن تكبت خبراء الوسائط المتعددة عالية الأبعاد.
- في مهمة التعرف على المشاعر ذات الفئات السبع في مجموعة بيانات MELD، يحقق XGAF باستخدام المجموع-المطلق دقة F1 مرجحة تبلغ 0.5983 مع تجميع المحولات (Transformer)، متطابقاً إحصائياً مع الدمج المبكر (0.6018) ومتفوقاً بشكل كبير على الدمج المتأخر (0.4598).
- في مهمة التعرف على المشاعر ذات الفئات الثلاث في مجموعة بيانات CMU-MOSEI، يصل XGAF باستخدام المجموع-المطلق إلى دقة F1 مرجحة تبلغ 0.6519، متفوقاً قليلاً على الدمج المبكر (0.6485) والدمج المتأخر (0.5696).
- تشير دراسات الاستبعاد (Ablation studies) إلى أن مكاسب الأداء تنبع أساساً من إضافة خبراء متعدد الوسائط، ولا سيما الخبير ثلاثي الوسائط، بدلاً من التوجيه المعقد لكل عينة.
- تكشف التشخيصات أن أوزان المتوسط-المطلق والوسيط-المطلق تصبح شبه موحدة، بينما تركز أوزان المجموع-المطلق بفعالية على الخبير ثلاثي الوسائط.
توفر هذه الدراسة تحليلاً تجريبياً شفافاً لكيفية تأثير تقنيات تقليل SHAP، وأبعاد الخبراء، وتصميم خبراء متعدد الوسائط على أداء الدمج المعياري متعدد الوسائط.