MLX लाइब्रेरी ने संस्करण 0.32.1 जारी किया, जिसने अपने मेटल पूर्ण ध्यान कार्यान्वयन के भीतर 72 के हेड आयाम के लिए समर्थन पेश किया।
- अपडेट ने पुल अनुरोध #4330 के माध्यम से मेटल पूर्ण ध्यान में हेड आयाम 72 के उपयोग को सक्षम बनाया।
github
MLX
·
1 घंटे पहले
·
inference
MLX v0.32.1 में मेटल पूर्ण ध्यान में हेड आयाम 72 का समर्थन जोड़ा गया
अनुवादित English → हिन्दी
संबंधित लेख
media
r/LocalLLaMA
·
14 दिन पहले
·
24 बार देखा गया
Apple का AFM3 20B निर्देश-अनुसरण प्रuning का उपयोग करके ~20% परतों को सक्रिय करता है
Apple ने अपने तीसरी पीढ़ी के आधार मॉडलों (AFM3) के लिए एक नई आर्किटेक्चर पेश की है जो "निर्देश-अनुसरण प्रuning" का उपयोग करके सक्रिय पैरामीटर गिनती को काफी कम करता है। मॉडल को डिज़ाइन किया गया है ताकि यह अपने MLP परतों का लगभग 20% सक्रिय कर सके, प्रति टोकन के बजाय प्रति प्रम्प्ट एक बार रूटिंग निर्णय लेकर।
media
r/LocalLLaMA
·
34 दिन पहले
·
9 बार देखा गया
Apple AI मॉडलों को छोटा करने और iPhone पर चलाने के लिए स्टार्टअप PrismML से बातचीत में है
Apple वर्तमान में iPhones पर तैनाती के लिए कृत्रिम बुद्धिमत्ता मॉडलों को संपीड़ित करने वाली तकनीक के बारे में स्टार्टअप PrismML के साथ चर्चा कर रहा है।
github
MLX
·
41 दिन पहले
·
11 बार देखा गया
MLX v0.32.0 ने Metal पर grouped strided case में conv2 gradients को ठीक किया
MLX लाइब्रेरी ने version 0.32.0 जारी किया, जो Metal backend में एक विशिष्ट बग को संबोधित करता है।
arxiv
arXiv cs.CL
·
44 दिन पहले
·
1 बार देखा गया
BaseRT नेटिव मेटल के माध्यम से एप्पल सिलिकॉन पर शीर्ष स्तरीय LLM इनफरेंस प्रदान करता है
शोधकर्ताओं ने BaseRT पेश किया, जो एप्पल सिलिकॉन पर बड़े भाषा मॉडलों के लिए एक नेटिव मेटल इनफरेंस रनटाइम है जो आज तक की उच्चतम रिपोर्ट किए गए इनफरेंस थ्रूपुट को प्राप्त करता है। चिप-विशिष्ट कर्नेल फ्यूजन और यूनिफाइड मेमोरी-अवेयर ऑप्टिमाइजेशन का उपयोग करके, यह llama.cpp और MLX जैसे मौजूदा फ्रेमवर्क्स में पाए जाने वाले ओवरहेड को दूर करता है।
lab
Hugging Face Blog
·
7 घंटे पहले
सीमा-जागरूक GPU आवंटक FIFO पर उपयोग और प्राथमिकता-भारित आउटपुट में सुधार करता है
एक सीमा-जागरूक GPU आवंटक का सात परिदृश्यों में FIFO शेड्यूलर के साथ बेंचमार्किंग की गई, जिसमें समान हार्डवेयर पर GPU उपयोग में 33 प्रतिशत बिंदु तक अधिक और प्राथमिकता-भारित आउटपुट में 105% तक अधिक प्राप्त हुआ। सिस्टम रियल-टाइम इनफरेंस मांग को एक स्थिर आरक्षण के बजाय एक उतार-चढ़ाव वाली वक्र के रूप में मानता है, जिससे बैच-जैसे जॉब्स गहराई के दौरान क्षमता को भर सकते हैं जबकि सलग्न GPU ब्लॉक्स और नॉन-प्रिइम्पशन जैसे कठोर सीमाओं का सम्मान करते हुए।