एक नया फ्रेमवर्क स्टैटिक लेक्सिकल रिप्रजेंटेशन (W2V) को डायनामिक कॉन्टेक्स्टुअलाइज्ड रिप्रजेंटेशन (GPT) के साथ फ्यूज़ करके, निरंतर सेमांटिक रिकंस्ट्रक्शन में रिप्रजेंटेशनल मिस्मैच को संबोधित करता है। अध्ययन दो एकीकरण दृष्टिकोणों का बेंचमार्किंग करता है: लीनियर नेइव कॉन्कैटनेशन और नॉन-लीनियर मल्टी-हेड क्रॉस-एटेंशन।
- दृष्टिकोण भाषा समझ के दौरान सहकारी प्रसंस्करण को सुगम बनाने के लिए इंटरैक्टिव गेटिंग तंत्र का उपयोग करता है।
- मूल्यांकन क्रॉस-एटेंशन > कॉन्कैटनेशन > GPT > W2V की एक प्रदर्शन हियरार्की को उजागर करता है।
- नॉन-लीनियर क्रॉस-एटेंशन फ्यूजन विधि स्टेट-ऑफ़-द-आर्ट (state-of-the-art) प्रदर्शन प्राप्त करती है।
लेखकों का मानना है कि यह महत्वपूर्ण है क्योंकि यह दर्शाता है कि न्यूरल भाषा डिकोडिंग संदर्भित जानकारी और मुख्य लेक्सिकल विशेषताओं के बीच सहकारी मॉडुलेशन की सिमुलेशन से लाभान्वित होती है, जो एक व्यावहारिक नॉन-इनवेसिव ब्रेन-टू-टेक्स्ट डिकोडिंग विधि प्रदान करती है।