लेखकों ने एक Procrustes-शर्तयुक्त संयुक्त एंड-टू-एंड Top-K विरल ऑटोएंकोडर (SAE) प्रस्तुत किया है जो स्वतंत्र रूप से प्रशिक्षित BERT मॉडलों से क्रॉस-सीड सार्वभौमिक लक्षण निकालने के लिए डिज़ाइन किया गया है। यह दृष्टिकोण गैर-उत्तल शब्दकोष सीखने और यादृच्छिक प्रारंभीकरण के कारण असंगत लक्षण स्थानों की चुनौती को संबोधित करता है।
- विधि संयुक्त SAE प्रशिक्षण से पहले सीड्स के सक्रियण स्थानों के बीच एक लंबकोणीय Procrustes घूर्णन की गणना करती है।
- यह Top-K विरलता, एंड-टू-एंड डाउनस्ट्रीम अनुकूलन और एक सहायक मृत-लक्षण पुनर्जीवन हानि को जोड़ता है।
- SST-2, Stanford Politeness और TweetEval Emotion पर पांच स्वतंत्र सीड युग्मों (दस BERT मॉडल) पर मूल्यांकन में सीड्स के बीच Pearson r ≥ 0.70 दिखाई देता है।
- सभी तीन डेटासेटों पर पाइपलाइन पोस्ट-होक एलाइनमेंट बेलाइनों की तुलना में अधिक सार्वभौमिक लक्षण उत्पन्न करती है।
लेखकों का मानना है कि यह महत्वपूर्ण है क्योंकि यह विभिन्न मॉडल प्रारंभीकरणों के पार संगत व्याख्या योग्य सामाजिक भाषा पैटर्न निकालने सक्षम बनाता है।