यह कार्य निरंतर एम्बेडिंग-स्पेस अनुकूलन के माध्यम से उनकी अंतिम-परत छिपी हुई अवस्थाओं से मूल इनपुट टोकन अनुक्रमों को पुनर्प्राप्त करके केवल-डिकोडर भाषा मॉडल के व्युत्क्रमण का जांच करता है।
- विधि निरंतर स्थान में एक सॉफ्ट प्रॉक्सी का उपयोग करती है, आंतरिक संकेतों जैसे रैंक ट्राजेक्टरी और हानि वक्रों को उजागर करने के लिए केवल आंतरिक लूप के अंत में ही टोकन को प्रतिबद्ध करती है।
- विश्लेषण से एक तीव्र श्रेणीय असममिति दिखाई देती है जहां स्थान-पूर्वसंज्ञक कार्यात्मक शब्द विफलता का कारण बनते हैं जबकि सामग्री-वाहक टोकन लगभग पूर्णतः पुनर्प्राप्त होते हैं।
- 10-टोकन C4 प्रॉम्प्ट पर, उम्मीदवार खिड़की चौड़ी होने के साथ सटीक-मैच दरें 66.9% से बढ़कर 97.5% हो जाती हैं, जो संकेत देता है कि अधिकांश त्रुटियां पुनर्प्राप्त योग्य नजदीकी मिस हैं।
- निरंतर सूत्रीकरण अनुकूलन को अवलोकनीय और विफलताओं को पता लगाने योग्य बनाता है, SIPIT जैसे तेज़ प्रति-चरण कठिन प्रक्षेपण विधियों के विपरीत।
परिणाम दर्शाते हैं कि GPT-2 की अंतिम-परत छिपी हुई अवस्थाएं इनपुट पाठ के लिए अत्यधिक संवेदनशील हैं, जिससे मूल अनुक्रम की प्रभावी पुनर्प्राप्ति संभव होती है।