RaBitQCache एक नवीन विरल ध्यान फ्रेमवर्क है जो लंबे-संदर्भ बड़े भाषा मॉडल (LLM) इनफरेंस में कुंजी-मान (KV) कैश के मेमोरी और कंप्यूटेशनल बाटलनेक को दूर करने के लिए डिज़ाइन किया गया है। यह ध्यान वजन का प्रभावी अनुमान लगाने के लिए यादृच्छिक घुमाए गए बाइनरी क्वांटीकरण और उच्च-थ्रूपुट बाइनरी-INT4 अंकगणित का उपयोग करता है।
- विधि एक निष्पक्ष प्रॉक्सी स्कोर का उपयोग करती है जिसके लिए सिद्ध त्रुटि सीमा है, जो वास्तविक ध्यान विरलता के आधार पर टोकन बजट को गतिशील रूप से समायोजित करते हुए अनुकूलन Top-p पुनर्प्राप्ति सक्षम बनाती है।
- हार्डवेयर-जागरूक सिस्टम कार्यान्वयन में कंप्यूटेशनल ओवरहेड को छिपाने के लिए असिंक्रोनस पाइपलाइनिंग और लेजी अपडेट शामिल हैं।
- मूल्यांकन दिखाते हैं कि RaBitQCache ने सबसे आधुनिक बेलाइन की तुलना में इनफरेंस को महत्वपूर्ण रूप से तेज किया है और मेमोरी I/O को कम किया है, जबकि उत्पन्न गुणवत्ता को बनाए रखी है।
यह दृष्टिकोण स्थिर फिक्स्ड-बजट पुनर्प्राप्ति या कंप्यूटेशनल रूप से महंगे प्रॉक्सी स्कोर के लिए अधिक कुशल विकल्प प्रदान करता है, आउटपुट गुणवत्ता को त्यागे बिना प्रदर्शन में सुधार करता है।