llama.cpp परियोजना ने संस्करण b11309 जारी किया, जिसमें हेक्सागॉन बैकएंड के लिए एक प्रमुख अनुकूलन शामिल है। यह अपडेट ALLREDUCE संचालन में सुरक्षित स्कैटर मोड का समर्थन जोड़ता है, Qualcomm Snapdragon उपकरणों पर प्रदर्शन और स्थिरता को बेहतर बनाने के उद्देश्य से।
- सुरक्षित स्कैटर मोड समर्थन जोड़कर हेक्सागॉन ALLREDUCE को अनुकूलित करता है।
- रजिस्टर स्पिल्स को हटाने के लिए hex-allreduce कार्यान्वयन को फिर से लिखता है।
- hex-allreduce कोड में अत्यधिक टिप्पणियों को कम करता है।
- CPU, GPU और NPU बैकएंड्स के लिए macOS (Apple Silicon और Intel), Linux, Windows, Android और openEuler के लिए बाइनरी प्रदान करता है।
यह रिलीज हेक्सागॉन NPUs वाले मोबाइल हार्डवेयर पर अधिक कुशल वितरित इनफरेंस सक्षम बनाती है, जबकि प्रमुख डेस्कटॉप और मोबाइल ऑपरेटिंग सिस्टम के बीच व्यापक संगतता को बनाए रखती है।