शोधकर्ताओं ने दिखाया है कि निर्देश प्रॉम्प्ट्स में कार्य-संबंधी जानकारी को एक मध्यम परत से एक्टिवेशन की सीखी गई वेटेड सम का उपयोग करके एकल एक्टिवेशन वेक्टर में संकुचित किया जा सकता है, जिसे फिर लक्ष्य LLM के प्रारंभिक परत में पुनः इंजेक्ट किया जाता है।
- विधि मूल टोकन अनुक्रम को संकुचित वेक्टर से बदल देती है, जिससे पूर्ण प्रॉम्प्ट प्रसंस्करण की तुलना में सटीकता में 2% से कम की कमी आती है।
- विश्लेषण से पता चलता है कि मध्यम-परत निरूपण अर्थ को प्रारंभिक परतों में सार्थक रूप से स्थानांतरित करते हैं, जो जानकारी एन्कोडिंग में क्रॉस-लेयर संगति को इंगित करता है।
- एकल एक्टिवेशन वेक्टर द्वारा परिमाणन योग्य और पुनर्प्राप्त योग्य मात्रा में अर्थवैज्ञानिक जानकारी एन्कोड की गई दिखाई गई है।
- दृष्टिकोण मूल टोकन अनुक्रम के पुनः प्रसंस्करण की आवश्यकता के बिना, स्थिर निर्देश प्रॉम्प्ट्स के लिए प्रति-क्वेरी गणना को कम करता है।