यह लेख बहुआयामी भाव और संवेग पहचान के लिए XAI-निर्देशित अनुकूलन फ्यूजन (XGAF) का विश्लेषण करता है, जिसमें SHAP एट्रिब्यूशन रिडक्शन विधियों और विशेषज्ञ सुविधा आयामों के बीच अंतःक्रिया पर ध्यान केंद्रित किया गया है। लेखकों ने दिखाया कि sum-abs रिडक्शन कुल एट्रिब्यूशन द्रव्यमान को mean-abs या median-abs रिडक्शन की तुलना में बेहतर ढंग से बनाए रखता है, जो उच्च-आयामी क्रॉस-मोडल विशेषज्ञों को दबा सकते हैं।
- MELD 7-श्रेणी भाव पहचान पर, sum-abs XGAF Transformer एग्रीगेशन के साथ 0.5983 भारित F1 प्राप्त करता है, जो शुरुआती फ्यूजन (0.6018) के सांख्यिकीय रूप से मेल खाता है और देर से फ्यूजन (0.4598) को महत्वपूर्ण रूप से पछाड़ता है।
- CMU-MOSEI 3-श्रेणी संवेग पहचान पर, sum-abs XGAF 0.6519 भारित F1 प्राप्त करता है, जो शुरुआती फ्यूजन (0.6485) और देर से फ्यूजन (0.5696) को थोड़ा अधिक पार कर जाता है।
- Ablation अध्ययन संकेत देते हैं कि प्रदर्शन लाभ मुख्य रूप से क्रॉस-मोडल विशेषज्ञों, विशेष रूप से trimodal विशेषज्ञ को जोड़ने से आते हैं, न कि जटिल प्रति-नमूना राउटिंग से।
- निदान बताते हैं कि mean-abs और median-abs भार लगभग समान हो जाते हैं, जबकि sum-abs भार प्रभावी ढंग से trimodal विशेषज्ञ पर केंद्रित होते हैं।
यह कार्य यह दिखाने के लिए एक पारदर्शी प्रायोगिक विश्लेषण प्रदान करता है कि SHAP रिडक्शन तकनीकें, विशेषज्ञ आयामता और क्रॉस-मोडल विशेषज्ञ डिज़ाइन मॉड्यूलर बहुआयामी फ्यूजन प्रदर्शन को कैसे प्रभावित करते हैं।