एक प्रदर्शन दिखाता है कि एक गाइड पाठ से कुंजी-मान (KV) अवस्थाओं को फ्रीज करने से Qwen2.5-3B-Instruct मॉडल नई निर्देशों को लागू कर सकता है बिना गाइड को लाइव प्रॉम्प्ट में शामिल किए। विधि में एक बार मॉडल के माध्यम से एक गाइड चलाना, इसके KV कैश को फ्रीज करना और फिर उस छिपे हुए पूर्वाग्रह के ऊपर प्रतिक्रियाएं उत्पन्न करना शामिल है।
- एक काल्पनिक ऑपरेटर के साथ एक गणित परीक्षण में, KV-निर्देशित मॉडल ने अदृश्य संख्याओं के लिए परिणामों को सही रूप से गणना किया, जो दृश्यमान पाठ इंजेक्शन के प्रदर्शन से मेल खाता है।
- एक ऐसे कार्य में जिसमें आइटमाइज्ड सूची की आवश्यकता होती है, KV विधि ने कई बीजों पर पहले टोकन से सही आउटपुट उत्पन्न किया, जबकि दृश्यमान इंजेक्शन को महत्वपूर्ण ड्रिफ्ट की आवश्यकता थी और बिना गाइड प्रयास पूरी तरह से विफल रहे।
- इस दृष्टिकोण को एक गैर-गणनात्मक तंत्र के बजाय एक छिपे हुए पूर्व-संकलित पूर्वाग्रह के रूप में वर्णित किया गया है, जो दृश्यमान प्रॉम्प्ट पैडिंग की तुलना में गति लाभ प्रदान करता है।
यह तकनीक ठोस पाठ संदर्भ के बजाय फ्रीज किए गए KV अवस्थाओं का लाभ उठाकर बड़े भाषा मॉडलों में अवधारणा स्थानांतरण और निर्देश अनुसरण सक्षम बनाती है।