लेख में क्वांटीज़ेशन-अवेयर हीलिंग का परिचय दिया गया है, जो एक संपीड़ित 4-बिट मॉडल बनाने की विधि है जो अपने पूर्ण-सटीक मूल से बेहतर प्रदर्शन प्राप्त करती है।
यह दृष्टिकोण दिखाता है कि विशिष्ट क्वांटीज़ेशन तकनीकें आधार अक्वांटाइज्ड संस्करण के परे मॉडल क्षमताओं को बढ़ा सकती हैं।
मेटा ने मोबाइल उपकरणों के लिए गुणवत्ता-दक्षता संतुलन को अनुकूलित करने के लिए डिज़ाइन किए गए, मोबाइल उपकरणों पर चलने वाले मिक्सचर-ऑफ़-एक्सपर्ट्स (MoE) भाषा मॉडलों का एक संग्रह MobileMoE जारी किया है। इस परिवार में तीन मॉडल स्केल शामिल हैं जिनमें अर्ध-अरब सक्रिय पैरामीटर और INT4 फॉर्मेट में 3 GB से कम वजन फुटप्रिंट हैं।
लेखकों ने क्वांटीज़ेशन-अवेयर हीलिंग (QAH) पेश किया, एक पाइलाइन जो संरचनात्मक संपीड़न और क्वांटीज़ेशन के दौरान खोए गए प्रदर्शन को पुनर्स्थापित करने के लिए अदबाई मॉडलों से सीधे 4-बिट छात्रों को डिस्टिल करता है। GPT-OSS 120B पर लागू, यह विधि Hypernova-60B उत्पन्न करती है, जो 9 में से 7 बेंचमार्क्स पर bfloat16 स्रोत के बराबर या बेहतर प्रदर्शन देता है जबकि लगभग 4 गुना कम वजन मेमोरी का उपयोग करता है।
लेखकों ने क्वांटीज़ेशन-अवेयर हीलिंग (QAH) पेश किया, एक विधि जो संरचनात्मक रूप से संपीड़ित, 4-बिट बड़े भाषा मॉडलों में तर्क और कोडिंग क्षमताओं को पुनर्स्थापित करती है। मानक क्वांटीज़ेशन-अवेयर ट्रेनिंग के विपरीत जो संपीड़ित मॉडल को फिर से फिट करता है, QAH 4-बिट छात्र को सीधे मूल असंपीड़ित मॉडल से डिस्टिल करता है।
Joakimpalm-Zen ने Xyntetik Runner को अपडेट किया है ताकि वह उसी क्वांटाइज्ड GGUF वेट्स का उपयोग करके LoRA एडाप्टर्स को सीधे प्रशिक्षित कर सके, जो इसे इनफरेंस के लिए सर्व करता है, जिससे अलग FP16 प्रशिक्षण कॉपी या रनटाइम की आवश्यकता समाप्त हो जाती है।
Liquid AI ने अपने LFM2.5 परिवार में तीन मॉडलों के लिए DSpark ड्राफ्ट मॉडल चेकपॉइंट जारी किए हैं: LFM2.5-1.2B-Instruct, LFM2.5-2.6B, और LFM2.5-8B-A1B। ये ड्राफ्टर मौजूदा टारगेट मॉडलों में एक स्पेकुलेटिव डिकोडिंग पथ जोड़ते हैं, जिससे लगभग 300M-पैरामीटर वाला ड्राफ्ट नौ उम्मीदवार टोकन का ब्लॉक प्रस्तावित कर सकता है जिसे टारगेट मॉडल एक ही फॉरवर्ड पास में सत्यापित करता है।
हम ट्रैफ़िक मापने और साइट को बेहतर बनाने के लिए कुकीज़ का उपयोग करते हैं। आप एनालिटिक्स कुकीज़ स्वीकार या अस्वीकार कर सकते हैं। गोपनीयता नीति