शोधकर्ताओं ने दिखाया है कि निर्देश प्रॉम्प्ट्स में कार्य-संबंधी जानकारी को एकल सक्रियता सदिश में संकुचित किया जा सकता है और इसे बड़े भाषा मॉडलों में पुनः इंजेक्ट किया जा सकता है, जिससे मौजूदा टोकन अनुक्रम को बदला जाता है। यह एक मध्यम परत से निकाली गई सक्रियताओं की सीखी हुई भारित योग का उपयोग करके हासिल किया जाता है और इसे एक प्रारंभिक परत में इंजेक्ट किया जाता है।
- संकुचित सदिश कार्य-संबंधी जानकारी को पूर्ण प्रॉम्प्ट प्रसंस्करण के सापेक्ष 2% से कम सटीकता गिरावट के साथ बनाए रखता है।
- मध्य-परत निरूपण अर्थ को प्रारंभिक परतों में सार्थक रूप से स्थानांतरित करते हैं, जो यह सुझाव देते हैं कि जानकारी कैसे एन्कोड की जाती है इसमें क्रॉस-लेयर संगति है।
- एकल सक्रियता सदिश एक मात्रात्मक और पुनर्प्राप्त योग्य अर्थवैज्ञानिक जानकारी के मात्रा को एन्कोड करता है।
- सक्रियताओं का भारित योग एक मजबूत निरूपण कंप्रेसर के रूप में कार्य करता है।
यह दृष्टिकोण निर्धारित निर्देश प्रॉम्प्ट्स के लिए प्रति-क्वेरी गणना को कम करता है बिना मौजूदा टोकन अनुक्रम के पुनः प्रसंस्करण की आवश्यकता के।