media r/LocalLLaMA · 45 दिन पहले · open_models

Bonsai 27B: फोन पर चलने वाला पहला 27B-क्लास मॉडल

अनुवादित English → हिन्दी

लेख में Bonsai 27B का परिचय दिया गया है, जिसे मोबाइल फोन पर चलाने में सक्षम अपनी श्रेणी के पहले मॉडल के रूप में वर्णित किया गया है।

स्रोत पाठ में कोई और विवरण या विशिष्ट सुविधाएँ प्रदान नहीं की गई हैं।

महत्व 1/3 r/LocalLLaMA Inference efficiency Open weights

मूल पढ़ें

क्वांटीज़ेशन-अवेयर हीलिंग: एक संपीड़ित, 4-बिट मॉडल जो अपने पूर्ण-सटीक मूल से बेहतर प्रदर्शन करता है

लेख में क्वांटीज़ेशन-अवेयर हीलिंग का परिचय दिया गया है, जो एक संपीड़ित 4-बिट मॉडल बनाने की विधि है जो अपने पूर्ण-सटीक मूल से बेहतर प्रदर्शन प्राप्त करती है।

media r/LocalLLaMA · 4 दिन पहले · 6 बार देखा गया

फेसबुक ने मोबाइल MoE भाषा मॉडलों के एक परिवार MobileMoE को जारी किया

मेटा ने मोबाइल उपकरणों के लिए गुणवत्ता-दक्षता संतुलन को अनुकूलित करने के लिए डिज़ाइन किए गए, मोबाइल उपकरणों पर चलने वाले मिक्सचर-ऑफ़-एक्सपर्ट्स (MoE) भाषा मॉडलों का एक संग्रह MobileMoE जारी किया है। इस परिवार में तीन मॉडल स्केल शामिल हैं जिनमें अर्ध-अरब सक्रिय पैरामीटर और INT4 फॉर्मेट में 3 GB से कम वजन फुटप्रिंट हैं।

arxiv arXiv cs.LG · 5 दिन पहले · 14 बार देखा गया

क्वांटीज़ेशन-अवेयर हीलिंग QAT से तेज़ी से 4-बिट LLMs को पुनर्स्थापित करता है

लेखकों ने क्वांटीज़ेशन-अवेयर हीलिंग (QAH) पेश किया, एक पाइलाइन जो संरचनात्मक संपीड़न और क्वांटीज़ेशन के दौरान खोए गए प्रदर्शन को पुनर्स्थापित करने के लिए अदबाई मॉडलों से सीधे 4-बिट छात्रों को डिस्टिल करता है। GPT-OSS 120B पर लागू, यह विधि Hypernova-60B उत्पन्न करती है, जो 9 में से 7 बेंचमार्क्स पर bfloat16 स्रोत के बराबर या बेहतर प्रदर्शन देता है जबकि लगभग 4 गुना कम वजन मेमोरी का उपयोग करता है।

arxiv arXiv cs.CL · 5 दिन पहले · 14 बार देखा गया

क्वांटीज़ेशन-अवेयर हीलिंग QAT से तेज़ी से 4-बिट LLMs को पुनर्स्थापित करता है

लेखकों ने क्वांटीज़ेशन-अवेयर हीलिंग (QAH) पेश किया, एक विधि जो संरचनात्मक रूप से संपीड़ित, 4-बिट बड़े भाषा मॉडलों में तर्क और कोडिंग क्षमताओं को पुनर्स्थापित करती है। मानक क्वांटीज़ेशन-अवेयर ट्रेनिंग के विपरीत जो संपीड़ित मॉडल को फिर से फिट करता है, QAH 4-बिट छात्र को सीधे मूल असंपीड़ित मॉडल से डिस्टिल करता है।

media Hugging Face Forums · 7 दिन पहले · 6 बार देखा गया

Xyntetik Runner सीधे क्वांटाइज्ड GGUF वेट्स के माध्यम से LoRA को प्रशिक्षित करता है

Joakimpalm-Zen ने Xyntetik Runner को अपडेट किया है ताकि वह उसी क्वांटाइज्ड GGUF वेट्स का उपयोग करके LoRA एडाप्टर्स को सीधे प्रशिक्षित कर सके, जो इसे इनफरेंस के लिए सर्व करता है, जिससे अलग FP16 प्रशिक्षण कॉपी या रनटाइम की आवश्यकता समाप्त हो जाती है।