llama.cpp प्रोजेक्ट ने बिल्ड b11375 जारी किया, जो एक महत्वपूर्ण मुद्दे को संबोधित करता है जहां असंतत ubatch सेल ग्राफ़ रीअलोकेशन को मजबूर करती थीं जो GGML_SCHED_NO_REALLOC फ्लैग सेट होने पर अबाट हो जाती थीं।
- ठीक करने के लिए पुनरावर्ती अवस्थाओं को एक बार इकट्ठा किया जाता है ताकि रिज़र्व प्रत्येक विभाजन को कवर करे, यह सुनिश्चित करते हुए कि सबसे खराब स्थिति में रिज़र्व आकार पर्याप्त हो।
- एकल get_rows अब n_rs अवस्थाओं को इकट्ठा करता है, जहां ubatch और अतिरिक्त अवस्थाओं को इस एकल आवंटन के दृश्य के रूप में माना जाता है।
- mamba ssm_scan जैसे कस्टम गेटर्स एकाधिक अनुक्रम ubatches के लिए अवस्थाओं की प्रतिलिपि बनाने से बचने के लिए दूसरी अवस्था से इकट्ठा करते हैं।
- होस्ट ओवरहेड को अपरिवर्तित रखने के लिए दृश्य ग्राफ़ प्रति एक बार बनाए जाते हैं।
यह परिवर्तन मेमोरी रीअलोकेशन बाधाओं से होने वाले अबाट्स को रोककर सीमित शेड्यूलिंग वातावरण में स्थिर निष्पादन सुनिश्चित करता है।