vLLM परियोजना ने संस्करण 0.29.0 जारी किया, जिसमें घन प्रीफ़िक्स कैश से संबंधित एक मुख्य बग फिक्स शामिल है।
- अपडेट विशेष रूप से हाइब्रिड मॉडलों के लिए घन प्रीफ़िक्स कैश डिफ़ॉल्ट सेटिंग लागू करता है।
github
vLLM
·
2 दिन पहले
·
inference
vLLM v0.29.0 हाइब्रिड मॉडलों के लिए डिफ़ॉल्ट घन प्रीफ़िक्स कैश लागू करता है
अनुवादित English → हिन्दी
संबंधित लेख
github
llama.cpp
·
अभी अभी
लाइव
llama.cpp b10891 ने साझा-स्मृति ह्रास पर वापस जाने के द्वारा PowerVR Vulkan क्रैश को ठीक किया
llama.cpp प्रोजेक्ट ने संस्करण b10891 जारी किया, जो PowerVR GPU पर एक महत्वपूर्ण स्थिरता समस्या को संबोधित करता है। अपडेट Vulkan बैकएंड को डीक्वांटाइज़्ड मैट्रिक्स-वेक्टर मल्टीप्लिकेशन (dmmv) संचालन के लिए साझा-स्मृति ह्रास पर वापस जाने के लिए संशोधित करता है।
media
MarkTechPost
·
अभी अभी
लाइव
DeepSeek ने 1M संदर्भ और FP4 KV कैश के साथ DeepSeek-V4.1-Flash जारी किया
DeepSeek AI ने DeepSeek-V4.1-Flash जारी किया है, जो एक बहुमोडल मिक्स्चर-ऑफ-एक्सपर्ट्स मॉडल है जिसमें 1-मिलियन-टोकन संदर्भ विंडो और FP4 KV कैश शामिल है जो प्रति टोकन 890 बाइट के वैश्विक कैश फुटप्रिंट को कम करता है। मॉडल एक कारणवादी एन्कोडर-डीकोडर आर्किटेक्चर और कॉम्प्रेस्ड स्पार्स एटेंशन 2 (CSA2) का उपयोग करता है जो प्रदर्शन बनाए रखते हुए मेमोरी की आवश्यकताओं को काफी कम करता है।
github
llama.cpp
·
1 घंटे पहले
·
1 बार देखा गया
लाइव
llama.cpp b10889 रिलीज़ इंडेक्सर के लिए V कैश आवंटन से बचता है
llama.cpp प्रोजेक्ट ने b10889 बिल्ड जारी की है, जिसमें एक मेमोरी ऑप्टिमाइजेशन शामिल है जो इंडेक्सर के लिए V कैश आवंटित करने से बचता है क्योंकि इसका उपयोग नहीं किया जाता है।
github
llama.cpp
·
3 घंटे पहले
·
1 बार देखा गया
llama.cpp b10888 GPU प्रोफ़ाइलर्स के लिए Vulkan कमांड-बफर डीबग लेबल्स जोड़ता है
llama.cpp परियोजना ने बिल्ड b10888 जारी किया है, जिसमें Vulkan बैकएंड में GPU प्रोफ़ाइलर्स के लिए कमांड-बफर डीबग लेबल्स जोड़ने की एक नई सुविधा शामिल है।
github
llama.cpp
·
4 घंटे पहले
·
1 बार देखा गया
llama.cpp b10886 ने s390x के लिए Q1_0 वेक्टर इनट्रिंसिक समर्थन जोड़ा
llama.cpp प्रोजेक्ट ने बिल्ड b10886 जारी किया, जिसने s390x आर्किटेक्चर के लिए Q1_0 वेक्टर इनट्रिंसिक समर्थन पेश किया। इस अपडेट में `ggml_vec_dot_q1_0_q8_0` का कार्यान्वयन शामिल है और नई क्षमता को प्रतिबिंबित करने के लिए दस्तावेज़ीकरण को अपडेट किया गया है।