webgpu घटक ने MMVQ (Multi-Mode Vector Quantization) फॉर्मेट्स के लिए समर्थन जोड़ा है, विशेष रूप से Q1_0, Q5_0, Q5_1, Q3_K, Q5_K, Q6_K और MXFP4।
यह अपडेट llama.cpp रिपोजिटरी में issue #29 को हल करता है ताकि webgpu वातावरण के भीतर क्वांटीज़ेशन क्षमताओं का विस्तार किया जा सके।
लेखक ने eqx-zoo बनाया है, एक लाइब्रेरी जो Hugging Face Hub चेकपॉइंट्स को सीधे सादे Equinox मॉड्यूल के रूप में लोड करती है और transformers लाइब्रेरी के खिलाफ प्रत्येक मॉडल की सत्यापन करता है। परियोजना वर्तमान में जनरेशन के लिए Llama, Qwen2, Qwen3, Qwen3-MoE और एम्बेडिंग्स के लिए BERT, RoBERTa, XLM-RoBERTa का समर्थन करती है।
लेखक ने AiiStream Q3.6 जारी किया है, जो एक ओपन-सोर्स तकनीक है जो केवल 8 से 16 GB RAM वाले Apple Silicon डिवाइसों पर Qwen3.6-35B-A3B मॉडल चलाने की अनुमति देती है। SSD पर रूटेड एक्सपर्ट्स को बनाए रखने और शीघ्र लोडिंग पूर्वानुमान का उपयोग करने से, विधि MLX मेमोरी उपयोग को लगभग 1.7 GB तक कम कर देती है, जबकि मानक mlx_lm कार्यान्वयन के साथ बाइट-स्तर पर पूर्णतः समान आउटपुट बनाए रखती है।
llama.cpp प्रोजेक्ट ने बिल्ड b11307 जारी किया, जो परत इनपुट क्रम को ठीक करता है ताकि अनुमानित डिकोडिंग के दौरान मूल बैच अनुक्रम संरक्षित रहे। यह बदलाव सुनिश्चित करता है कि टोकन क्रम अनावृत NextN एम्बेडिंग्स के लिए सही रूप से बनाए रखा जाए और टेन्सर विभाजन के साथ संगत हो।
llama.cpp प्रोजेक्ट ने बिल्ड b11301 जारी किया है, जिसमें ggml और gguf घटकों के भीतर एक पूर्णांक ओवरफ़्लो समस्या के लिए एक सुधार शामिल है। यह अपडेट शून्य-तत्व टेंसर को संभालते समय संभावित त्रुटियों को रोकने के लिए सत्यापन तर्क को संबोधित करता है।
llama.cpp प्रोजेक्ट ने बिल्ड b11302 जारी किया, जिसने CI पाइपलाइन में ThreadSanitizer द्वारा पहचाने गए एक गंभीर कन्करेंसी मुद्दे को संबोधित किया। अपडेट ने उस डेटा रेस को हल किया जो स्पार्स एटेंशन तंत्र के भीतर था, जहां कई CPU थ्रेड्स गलत तरीके से समान मेमोरी तत्वों में लिख रहे थे।
हम ट्रैफ़िक मापने और साइट को बेहतर बनाने के लिए कुकीज़ का उपयोग करते हैं। आप एनालिटिक्स कुकीज़ स्वीकार या अस्वीकार कर सकते हैं। गोपनीयता नीति