vLLM ने संस्करण 0.27.1 जारी किया है, जो पिछले v0.27.0 रिलीज़ पर बनाया गया एक पैच अपडेट है।
- इस अपडेट में क्वांटाइज्ड DSpark मार्कोव हेड्स के लिए समर्थन शामिल है।
github
vLLM
·
15 घंटे पहले
·
inference
vLLM v0.27.1 में क्वांटाइज्ड DSpark मार्कोव हेड्स के लिए समर्थन जोड़ा गया
अनुवादित English → हिन्दी
संबंधित लेख
github
llama.cpp
·
8 घंटे पहले
llama.cpp b10361 ने EXAONE 4.5 के लिए SWA को ठीक किया और मेटाडेटा पथ में TENSOR_SKIP को छोड़ा
llama.cpp b10361 रिलीज़ ने एक गंभीर बग को संबोधित किया जहाँ लोडिंग के दौरान गलत पैरामीटर ऑर्डरिंग के कारण LGAI-EXAONE 4.5 मॉडल के लिए स्लाइविंग विंडो एटेंशन (SWA) सक्षम नहीं था।
lab
Hugging Face Blog
·
12 घंटे पहले
ALTK-Evolve का निष्क्रियता लागत के अंश पर ACE के समान या बेहतर सटीकता प्राप्त होती है
एजेंटिक मेमोरी के लिए एक सिस्टम ALTK-Evolve, जो वजन अपडेट किए बिना एजेंट ट्राजेक्ट्रीज़ को पुनः उपयोग योग्य गाइडलाइन्स में बदल देता है, ACE की सटीकता से मेल खाता या उसे पार करता है जबकि काफी कम टोकन का उपयोग करता है। ACE के विपरीत, जो हर चरण पर एक व्यापक प्लेबुक इंजेक्ट करता है, ALTK-Evolve आंतरिक क्षमता के आधार पर केवल प्रासंगिक गाइडलाइन्स प्रदान करने के लिए चयनात्मक पुनर्प्राप्ति का उपयोग करता है।
lab
NVIDIA Research
·
16 घंटे पहले
·
10 बार देखा गया
DSTP जटिल MLLM तर्क में दृश्य टोकन प्रूनिंग विफलताओं को कम करता है
शोधकर्ताओं ने डिकोडिंग के दौरान प्रासंगिक दृश्य जानकारी शिफ्ट (RVIS) को बहुआयामी बड़े भाषा मॉडलों (MLLMs) में मौजूदा दृश्य टोकन प्रूनिंग विधियों की विफलता का मुख्य कारण पहचाना। इसका समाधान करने के लिए, वे डिकोडिंग-स्टेज शिफ्ट-अवेयर टोकन प्रूनिंग (DSTP) का प्रस्ताव करते हैं, जो एक ट्रेनिंग-फ्री फ्रेमवर्क है जो दृश्य टोकनों को बदलते तर्क आवश्यकताओं के साथ संरेखित करता है।
media
MarkTechPost
·
17 घंटे पहले
·
1 बार देखा गया
webAI ने स्थानीय ऑटोफॉर्मलाइजेशन के लिए 1.7B और 3B फॉर्मल-लॉजिक मॉडल परिवार TwIL-LM जारी किया
webAI ने TwIL-LM जारी किया है, जो स्थानीय हार्डवेयर पर ऑटोफॉर्मलाइजेशन के लिए डिज़ाइन किए गए 1.7B और 3B पैरामीटर वाले फॉर्मल-लॉजिक रीजनर्स का दो-मॉडल परिवार है। ये मॉडल अंग्रेजी को प्रथम-क्रम तर्क (first-order logic) में अनुवाद करते हैं और निष्कर्ष की वैधता की जाँच करते हैं, जिसमें 3B वेरिएंट डोमेन-इन फॉर्मल लॉजिक कार्यों पर मैक्रो गेट स्कोर 0.4218 प्राप्त करता है।
media
AI News (smol.ai)
·
17 घंटे पहले
मेटा ने Muse Glimmer 30B ओपन-वेट मॉडल जारी किया; Anthropic ने Riemann बॉउंड में सुधार किया
मेटा ने Apache 2.0 के तहत लोकल एजेंट डिप्लॉयमेंट के लिए अनुकूलित 30B डेंस मल्टीमोडल मॉडल Muse Glimmer जारी किया, साथ ही Muse Spark 1.2 के लिए भविष्य में वेट्स की भी घोषणा की।