llama.cpp प्रोजेक्ट ने बिल्ड b10724 जारी किया, जो सतत रन के प्रति बैचिंग स्कैटर रीड्स द्वारा गैर-संतत KV कैश सेल को पुनर्स्थापित करने की प्रदर्शन में महत्वपूर्ण सुधार करता है।
- टुकड़ेदार रिंग बफर्स के लिए स्थिति पुनर्स्थापना को अनुकूलित किया गया, जिसमें लगातार गंतव्य सूचकांकों का पूर्व-गणना और व्यक्तिगत सेल कॉपी के बजाए एकल कॉपी का उपयोग किया गया।
- डिवाइस पर रीडर में एक एसेर्शन फेल को ठीक किया गया जब सेव और पुनर्स्थापित टेंसर गिनती मेल खाती थी लेकिन चंकिंग अलग था, जिसमें बाइट कर्सर कॉपी पर वापसी की गई।
- इंटरलीव्ड सीक्वेंस सेल के लिए बाइट-समान स्थिति पुनर्स्थापना की जांच करने वाले होस्ट और डिवाइस पर टेस्ट जोड़े गए।
इस अनुकूलन से बड़ी पुनर्स्थापनाओं के लिए आवश्यक मेमोरी कॉपी की संख्या 1.3 मिलियन से घटकर केवल 224 हो जाती है, जिससे पुनर्स्थापन समय दसियों सेकंड से घटकर आधा सेकंड से कम हो जाता है।