RaBitQCache هو إطار عمل انتباه متناثر جديد صُمم لمعالجة الاختناقات في الذاكرة والحوسبة الخاصة بخازن المفتاح-القيمة (KV) في استدلال نماذج اللغات الكبيرة ذات السياق الطويل. يستخدم التكميم الثنائي الدوار العشوائي وحسابات ثنائية-INT4 عالية الإنتاجية لتقدير أوزان الانتباه بكفاءة.
- تستخدم الطريقة درجة وكيل غير متحيزة لها حد خطأ مثبت لتمكين الاسترجاع التكيفي Top-p، مما يضبط ميزانية الرموز ديناميكيًا بناءً على تناثر الانتباه الفعلي.
- يتضمن تنفيذ النظام الواعي للأجهزة أنابيب غير متزامنة وتحديثات متأخرة لإخفاء الحمل الحسابي.
- تُظهر التقييمات أن RaBitQCache يسرع الاستدلال بشكل كبير ويقلل من إدخال/إخراج الذاكرة مع الحفاظ على جودة التوليد مقارنة بأساسيات الحالة الفنية.
توفر هذه النهج بديلاً أكثر كفاءة للاسترجاع ذي الميزانية الثابتة الساكنة أو درجات الوكلاء المكلفة حسابيًا، مما يحسن الأداء دون التضحية بجودة الإخراج.