llama.cpp प्रोजेक्ट ने संस्करण b9966 जारी किया है, जिसमें टेंसर-स्प्लिट रेगेक्स पैटर्न के लिए प्रदर्शन अनुकूलन शामिल है। `llama_meta_device_get_split_state()` फ़ंक्शन पहले हर कॉल पर 29 `std::regex` ऑब्जेक्ट्स को फिर से कंपाइल कर रहा था, जो -sm टेंसर मोड में प्रोफाइलिंग के दौरान डिकोड थ्रेड में प्रभावी था।
- इन पैटर्न को static const के रूप में चिह्नित करने से यह सुनिश्चित होता है कि वे केवल एक बार कंपाइल हों, जिससे व्यवहार को बदले बिना दक्षता बढ़ती है।
- macOS Apple Silicon (arm64) बिल्ड्स उपलब्ध हैं, लेकिन KleidiAI समर्थन अक्षम है।
- Ubuntu x64 और arm64 (CPU), s390x (CPU), Vulkan, ROCm 7.2, OpenVINO, और SYCL FP32/FP16 के लिए Linux बाइनरी प्रदान की गई हैं।
- Android arm64 (CPU) बिल्ड्स शामिल हैं।
- Windows रिलीज़ CPU, OpenCL Adreno, CUDA 12/13, Vulkan, OpenVINO, SYCL, और HIP को कवर करती हैं।
- openEuler समर्थन आंशिक रूप से अक्षम है, x86 और aarch64 बिल्ड्स विशिष्ट हार्डवेयर के लिए उपलब्ध हैं।
यह अपडेट कई प्लेटफ़ॉर्म और एक्सेलेरेटरों पर अनुकूलित बाइनरी प्रदान करता है, टेंसर विभाजन में प्रदर्शन बॉटलनेक को दूर करता है।