llama.cpp प्रोजेक्ट ने बिल्ड b10750 जारी किया, जिसने क्रम स्थिति इंडेक्सिंग और n-ग्राम इतिहास खोजों को बेहतर बनाने के लिए कुंजी-मान सेल प्रबंधन को पुनर्गठित किया।
- `get_prev_tokens()` फ़ंक्शन को फिर से बनाया गया है ताकि यह हर ubatch पर सभी उपयोग किए गए सेलों को चलाने के बजाय सीधी खोज कर सके।
- आंतरिक इंडेक्स अब `(pos, cell)` जोड़े को `std::set` में संग्रहीत करता है, जिससे नए `seq_pos_tok_le` विधि के माध्यम से लघुगणकीय समय पुनर्प्राप्ति संभव हुई है।
- इस बदलाव से पुरानी विंडो खोज और M-RoPE गैप फॉलबैक तर्क की आवश्यकता समाप्त हो गई।
- 71k संदर्भ पर Qwen3.8-Flash-Next UD-Q4_K_XL पर किए गए बेंचमार्कों में टोकन जनरेशन गति में 4.9% की वृद्धि (69.3 से 72.7 t/s) दिखाई गई, जबकि प्रीफिल प्रदर्शन अपरिवर्तित रहा।
इस अनुकूलन से निष्पासन के दौरान कंप्यूटेशनल ओवरहेड कम हुआ है, जिससे लंबे-संदर्भ परिदृश्यों में तेज़ पाठ जनरेशन संभव हुआ है।