सभी लेख
github llama.cpp · 16 दिन पहले

LLaMA.cpp b9663 रिलीज़ में SYCL समर्थन और नए बाइनरी बिल्ड्स जोड़े गए

LLaMA.cpp रिलीज़ b9663 में OP EXPM1 के लिए समर्थन और FLOOR, TRUNC, और ROUND के लिए सभी यूनिट टेस्ट केस जोड़े गए हैं। इसमें macOS, Linux, Android, Windows, और openEuler के लिए अपडेटेड बाइनरी शामिल हैं, जिनमें SYCL (FP32 और FP16), Vulkan, CUDA 12.4 और 13.3, और ROCm 7.2 का समर्थन है, साथ ही एक अपडेटेड UI भी है।

github llama.cpp · 16 दिन पहले

sycl: पुनः क्रमित Q4_K/Q5_K/Q6_K MoE MUL_MAT_ID का समर्थन

sycl अपडेट ने Q4_K, Q5_K और Q6_K के लिए MoE MUL_MAT_ID में पुनः क्रमित विशेषज्ञ टेंसर हैंडलिंग के लिए समर्थन को बढ़ा दिया है। असमर्थित 3D पुनः क्रमण मामलों को अब रद्द करने के बजाय फॉलबैक पर चला जाता है।

github llama.cpp · 16 दिन पहले

Vulkan ने col2im_1d ऑप जोड़ा और कई प्लेटफॉर्म का समर्थन किया

llama.cpp के रिलीज b9661 ने Vulkan के लिए GGML_OP_COL2IM_1D समर्थन जोड़ा है, मॉड्यूलो के साथ पूर्ण-K स्कैन के बजाय एक बाउंडेड गैदर लूप का उपयोग करते हुए। यह असमर्थित प्रकारों के लिए nullptr लौटाता है और CPU, Vulkan, CUDA, और SYCL पर macOS, Linux, Android, Windows, और openEuler के लिए बिल्ड्स शामिल हैं।