PIVOT (Proxy Indexing Via One full-prefix Traversal) एक ट्रेनिंग-फ्री, ड्रॉप-इन प्रतिस्थापन है DeepSeek Sparse Attention (DSA) इंडेक्सर के लिए जो निकटवर्ती क्वेरियों के समूह में एक प्रीफिक्स स्कैन साझा करके कंप्यूटेशनल अतिरेक को कम करता है। हर क्वेरी के लिए प्रत्येक पूर्ववर्ती टोकन को अलग-अलग स्कोर करने के बजाय, PIVOT समूह को एक सिंगल प्रॉक्सी क्वेरी में एग्रीगेट करता है ताकि एक उम्मीदवार सेट प्राप्त किया जा सके, जिससे हर क्वेरी के लिए टॉप-k टोकन चुने जाते हैं।
- दो वेरिएंट उपलब्ध हैं: PIVOT-Reuse अधिकतम गति के लिए प्रॉक्सी टॉप-k साझा करता है, जबकि PIVOT-Refine डेंस इंडेक्सर की फिडेलिटी से मेल खाने के लिए व्यक्तिगत इंडेक्सर्स के साथ उम्मीदवारों को फिर से स्कोर करता है।
- एल्गोरिदम क्रमिक क्वेरियों या मल्टी-टोकन प्रेडिक्शन स्टेप्स के समूह बनाकर प्रीफिल और डिकोड दोनों चरणों को संभालता है।
LongBench और RULER पर DeepSeek-V3.2 और GLM-5.1 के साथ, PIVOT डेंस DSA इंडेक्सर की सटीकता से मेल खाता है जबकि इसे 4x तक तेज़ करता है और लंबे कॉन्टेक्स्ट पर एंड-टू-एंड लेटेंसी को 1.6x तक कम करता है।