llama.cpp release b9667 introduces Vulkan support with S_v=16 via gated_delta_net. It includes binaries for macOS, Linux, Android, Windows, and openEuler across multiple architectures, with options for Vulkan, CUDA 12.4 and 13.3, ROCm, OpenVINO, and SYCL.
llama.cpp संस्करण b9668 ने UMA उपकरणों पर बेहतर प्रदर्शन के लिए UMA host-visible memory buffers को लागू किया है, 0cc4m के सुझाव के आधार पर। इस रिलीज में macOS, Linux, Android, Windows और openEuler के लिए binaries शामिल हैं, जो CPU, Vulkan, ROCm, OpenVINO, SYCL और HIP का समर्थन करते हैं, एक समर्पित UI पैकेज के साथ।
llama.cpp संस्करण b9665 में बेंचमार्किंग के लिए एक नया --offline फ्लैग पेश किया गया है। इस रिलीज में macOS, Linux, Android, Windows और openEuler के लिए कई आर्किटेक्चर और Vulkan, CUDA, ROCm, OpenVINO और SYCL सहित हार्डवेयर एक्सेलरेशन विकल्पों पर बाइनरी बिल्ड्स शामिल हैं।
LLaMA.cpp रिलीज़ b9663 में OP EXPM1 के लिए समर्थन और FLOOR, TRUNC, और ROUND के लिए सभी यूनिट टेस्ट केस जोड़े गए हैं। इसमें macOS, Linux, Android, Windows, और openEuler के लिए अपडेटेड बाइनरी शामिल हैं, जिनमें SYCL (FP32 और FP16), Vulkan, CUDA 12.4 और 13.3, और ROCm 7.2 का समर्थन है, साथ ही एक अपडेटेड UI भी है।
sycl अपडेट ने Q4_K, Q5_K और Q6_K के लिए MoE MUL_MAT_ID में पुनः क्रमित विशेषज्ञ टेंसर हैंडलिंग के लिए समर्थन को बढ़ा दिया है। असमर्थित 3D पुनः क्रमण मामलों को अब रद्द करने के बजाय फॉलबैक पर चला जाता है।
llama.cpp के रिलीज b9661 ने Vulkan के लिए GGML_OP_COL2IM_1D समर्थन जोड़ा है, मॉड्यूलो के साथ पूर्ण-K स्कैन के बजाय एक बाउंडेड गैदर लूप का उपयोग करते हुए। यह असमर्थित प्रकारों के लिए nullptr लौटाता है और CPU, Vulkan, CUDA, और SYCL पर macOS, Linux, Android, Windows, और openEuler के लिए बिल्ड्स शामिल हैं।