يقدم الباحثون طريقة JoLT لضغط خزانة المفاتيح والقيم (KV) في استنتاج المحولات عن طريق معالجتها كموتر من الرتبة الثالثة. تطبق هذه الطريقة تحلل تكر الجزئي على محاور الرموز والميزات بينما تستخدم بقايا منخفضة البت دوّارة جونسون-ليندغراف لاستعادة الطاقة المفقودة أثناء التقطيع.
- تخصص ثنائية لاغرانج واحدة رتب تكر وعرض البت المتبقي لكل مجموعة طبقات تحت ميزانية بايت واحد.
- تحقق JoLT ضغطًا بمقدار 2-3 مرات مع بقاء التشتت الدلالي، ودقة GSM8K، واسترجاع RULER ضمن الضوضاء الإحصائية للأساس غير المضغوط على Mistral-7B-v0.3 وLLaMA-2-13B.
- عند ضغط بمقدار 2x، يكون خطأ فروبينيوس النسبي 0.009 للمفاتيح و0.006 للقيم، أي أقل بترتيب مقداري من SVD عبر الطبقات والكمّية 4 بت.
- يوفر متغير SVD العشوائي المسمى FlashJoLT تسريعًا في وقت الضغط بمقدار 5-13 مرة عند جودة مطابقة.
تعالج هذه الطريقة التكلفة الذاكرة المهيمنة لاستنتاج المحولات عن طريق تقليل حجم خزانة KV بشكل كبير دون تدهور أداء النموذج.