llama.cpp परियोजना ने संस्करण b10900 जारी किया है, जिसमें Vulkan बैकएंड के लिए एक तकनीकी अद्यतन शामिल है। इस रिलीज में प्रीफिल चरण के दौरान topk_moe फ्यूशन अनुकूलन को सक्षम करने के लिए विशेष रूप से एक आवंटन निर्भरता जोड़ी गई है।
- प्राथमिक कोड परिवर्तन Vulkan कार्यान्वयन में prefill ऑपरेशन के लिए topk_moe फ्यूजन का समर्थन करने के लिए आवंटन निर्भरता की जोड़ है।
- macOS (Apple Silicon और Intel), Linux (CPU, Vulkan, ROCm 10.0, OpenVINO, SYCL), Windows (CPU, CUDA 12/13, Vulkan, OpenVINO, SYCL, ROCm 10.0), Android, और iOS के लिए बाइनरी प्रदान की गई हैं।
- इस बिल्ड में macOS Apple Silicon के लिए KleidiAI समर्थन अक्षम है।
यह अद्यतन नए सक्षम फ्यूजन तकनीक के माध्यम से Vulkan-संगत हार्डवेयर पर उपयोगकर्ताओं को अनुकूलित प्रीफिल प्रदर्शन प्रदान करता है।