تُظهر دemonstration أن تجميد حالات المفتاح-القيمة (KV) من نص دليل يسمح لنموذج Qwen2.5-3B-Instruct بتطبيق تعليمات جديدة دون تضمين الدليل في الموجه المباشر. تتضمن الطريقة تشغيل دليل عبر النموذج مرة واحدة، وتجميد ذاكرة التخزين المؤقت KV الخاصة به، ثم توليد استجابات فوق هذا البادئ المخفي.
- في اختبار رياضيات مع عامل مفترض، حسبت النموذج الموجه بـ KV النتائج بشكل صحيح للأرقام غير المرئية، متطابقة مع أداء حقن النص المرئي.
- في مهمة استخراج تتطلب قوائم مفصلة، أنتجت طريقة KV مخرجات صحيحة من الرمز الأول عبر بذور متعددة، بينما تطلب الحقن المرئي انحرافًا كبيرًا وفشلت المحاولات بدون دليل تمامًا.
- يُوصف النهج بأنه بادئ مُجمَّع مسبقًا مخفيًا بدلاً من آلية حسابية، مما يوفر مزايا سرعة مقارنة بحشو الموجه المرئي.
تتيح هذه التقنية نقل المفاهيم واتباع التعليمات في نماذج اللغة الكبيرة عن طريق الاستفادة من حالات KV المجمدة بدلاً من السياق النصي الصريح.