media r/LocalLLaMA · 50 दिन पहले · स्रोत: 56 दिन पहले · open_models

NVIDIA ने Qwen3.6-27B-NVFP4 मॉडल जारी किया

अनुवादित English → हिन्दी

NVIDIA ने Hugging Face पर Qwen3.6-27B-NVFP4 मॉडल जारी किया है।

checkpoint अब डाउनलोड के लिए उपलब्ध है।

महत्व 1/3 r/LocalLLaMA NVIDIA Alibaba (Qwen) Inference efficiency Open weights

क्वांटीज़ेशन-अवेयर हीलिंग QAT से तेज़ी से 4-बिट LLMs को पुनर्स्थापित करता है

लेखकों ने क्वांटीज़ेशन-अवेयर हीलिंग (QAH) पेश किया, एक पाइलाइन जो संरचनात्मक संपीड़न और क्वांटीज़ेशन के दौरान खोए गए प्रदर्शन को पुनर्स्थापित करने के लिए अदबाई मॉडलों से सीधे 4-बिट छात्रों को डिस्टिल करता है। GPT-OSS 120B पर लागू, यह विधि Hypernova-60B उत्पन्न करती है, जो 9 में से 7 बेंचमार्क्स पर bfloat16 स्रोत के बराबर या बेहतर प्रदर्शन देता है जबकि लगभग 4 गुना कम वजन मेमोरी का उपयोग करता है।

arxiv arXiv cs.CL · 23 घंटे पहले · 9 बार देखा गया

क्वांटीज़ेशन-अवेयर हीलिंग QAT से तेज़ी से 4-बिट LLMs को पुनर्स्थापित करता है

लेखकों ने क्वांटीज़ेशन-अवेयर हीलिंग (QAH) पेश किया, एक विधि जो संरचनात्मक रूप से संपीड़ित, 4-बिट बड़े भाषा मॉडलों में तर्क और कोडिंग क्षमताओं को पुनर्स्थापित करती है। मानक क्वांटीज़ेशन-अवेयर ट्रेनिंग के विपरीत जो संपीड़ित मॉडल को फिर से फिट करता है, QAH 4-बिट छात्र को सीधे मूल असंपीड़ित मॉडल से डिस्टिल करता है।

media r/LocalLLaMA · 8 दिन पहले · 16 बार देखा गया

क्वांटीज़ेशन-अवेयर हीलिंग QAT से तेज़ी से 4-बिट LLMs को पुनर्स्थापित करता है

क्वांटीज़ेशन-अवेयर हीलिंग QAT से तेज़ी से 4-बिट LLMs को पुनर्स्थापित करता है

NVIDIA ने GB300 NVL72 पर Qwen 3.8 2.4T को प्रति GPU 4K टोकन/स की गति से सर्व किया

Qwen ने Qwen 3.8 27B के लिए ओपन वेट्स जारी किए

अलibaba ने NVIDIA GB300 NVL72 के लिए Qwen3.8-2.4T-A95B ओपन वेट्स जारी किए