llama.cpp प्रोजेक्ट ने बिल्ड b11306 जारी किया, जो डिकोडिंग के दौरान ग्राफ आकार बदलने से होने वाले क्रैश को दूर करता है। अपडेट में विशिष्ट शेड्यूलिंग प्रतिबंधों के तहत रीअलोकेशन विफलताओं को रोकने के लिए `causal_attn` फ्लैग के हैंडलिंग में संशोधन किया गया है।
- डिवाइस डिकोड के बाद, `causal_attn` को आधे ubatch के लिए बंद कर दिया जाता है और फिर शेष भाग के लिए वापस चालू कर दिया जाता है ताकि नोड की संख्या में स्थिरता सुनिश्चित हो सके।
- यह बदलाव ग्राफ को अपरिवर्तित आकार पर रीअलोकेट होने से रोकता है, जो पहले `GGML_SCHED_NO_REALLOC` सक्रिय होने पर एक्जीक्यूशन को अबार्ट कर देता था।
- यह फिक्स डिकोड आर्किटेक्चर पर लागू होता है लेकिन एन्कोड आर्किटेक्चर के लिए छोड़ दिया जाता है।
रिलीज में macOS (Apple Silicon और Intel), iOS, Linux (CPU, CUDA 12/13, ROCm 10.0, OpenVINO, SYCL, Snapdragon), Android, Windows (CPU, CUDA 12/13, Vulkan, OpenVINO, SYCL, ROCm 10.0) और openEuler के लिए बाइनरी शामिल हैं।