सभी लेख
media r/LocalLLaMA · 1 घंटे पहले लाइव

DGX Spark और Strix Halo के साथ disaggregated prompt प्रोसेसिंग

एक उपयोगकर्ता DGX Spark का उपयोग prefilling के लिए और Strix Halo बॉक्स का उपयोग token जनरेशन के लिए करके एक disaggregated inference pipeline का प्रदर्शन करता है, लंबे-संदर्भ कार्यभारों के लिए महत्वपूर्ण गति वृद्धि हासिल करता है। DGX पर कंप्यूटेशनली इंटेंसिव prompt प्रोसेसिंग को offload करके और decoding के लिए Strix की मेमोरी बैंडविड्थ का लाभ उठाकर, सेटअप Strix पर अकेले चलते समय देखी गई प्रदर्शन ह्रास को दूर करता है।

arxiv arXiv cs.CL · 6 घंटे पहले

Program-as-Weights: फजी फंक्शंस के लिए एक प्रोग्रामिंग पैराडाइम

लेख Program-as-Weights (PAW) पेश करता है, एक पैराडाइम जो प्राकृतिक भाषा स्पेसिफिकेशन को कंपैक्ट, लोकली-एग्जीकुटेबल न्यूरल आर्टिफैक्ट्स में कंपाइल करता है ताकि बड़े लैंग्वेज मॉडल APIs को बदला जा सके। यह दृष्टिकोण फाउंडेशन मॉडल्स को इनपुट-प्रति समस्या समाधानकर्ता के बजाय टूल बिल्डर मानकर स्थानीयता, पुनरुत्पादकता और लागत में सुधार का लक्ष्य रखता है।

arxiv arXiv cs.CL · 7 घंटे पहले

LACUNA: LLM अनलर्निंग के लिए लोकलाइज़ेशन सटीकता का मूल्यांकन करने के लिए एक टेस्टबेड

शोधकर्ताओं ने LACUNA पेश किया, जो पहला अनलर्निंग टेस्टबेड है जिसमें ग्राउंड-ट्रुथ पैरामीटर-लेवल लोकलाइज़ेशन शामिल है ताकि यह मूल्यांकन करने की खाई को पूरा किया जा सके कि क्या अनलर्निंग वास्तव में मॉडल पैरामीटर से ज्ञान मिटा रहा है। टेस्टबेड सिंथेटिक व्यक्तियों के PII को 1B और 7B OLMo-आधारित मॉडलों के पूर्व-परिभाषित पैरामीटर में मास्क्ड निरंतर प्रीट्रेनिंग के माध्यम से इंजेक्ट करता है।

blog Simon Willison · 7 घंटे पहले

शामिल होने के लिए समझना

जेफ्री लिट का तर्क है कि डेवलपर्स को कोगनिटिव ऋण से बचने और रचनात्मक प्रक्रिया में सक्रिय भागीदार बने रहने के लिए कोडिंग एजेंट्स द्वारा उत्पन्न कोड को गहराई से समझना चाहिए।

media r/LocalLLaMA · 7 घंटे पहले

OpenLumara अब OpenAI एंडपॉइंट के माध्यम से किसी भी UI को स्थानीय मॉडल से जोड़ता है

ओपन सोर्स फ्रेमवर्क OpenLumara अब उस किसी भी यूजर इंटरफ़ेस से कनेक्शन का समर्थन करता है जो एक OpenAI एंडपॉइंट के साथ संवाद कर सकता है, जैसे कि KoboldLite और OpenWebUI। यह अपडेट उपयोगकर्ताओं को अपने पसंदीदा फ्रंटएंड को बदले बिना टोकन-कुशल हैंरेस को अपने मौजूदा वर्कफ़्लो में एकीकृत करने की अनुमति देता है।

media r/LocalLLaMA · 7 घंटे पहले

क्या कोई QGIS जैसे सॉफ़्टवेयर में बड़े पैमाने पर स्थानिक या शहर की व्यवस्था उत्पन्न करने के लिए स्थानीय LLM का उपयोग कर रहा है?

एक उपयोगकर्ता स्थानीय भाषा मॉडलों के लिए सिफारिशें खोज रहा है जो पूरे शहर की व्यवस्था, सड़क नेटवर्क और जटिल ग्रिड प्रणालियों जैसे बड़े पैमाने पर संरचनात्मक डेटा उत्पन्न करने में सक्षम हों।

blog Simon Willison · 8 घंटे पहले

llm-coding-agent 0.1a0

साइमन विलिसन ने llm-coding-agent 0.1a0 जारी किया, जो एक सरल कोडिंग एजेंट बनाने के लिए उसके LLM लाइब्रेरी को एजेंट फ्रेमवर्क के रूप में उपयोग करने का एक प्रारंभिक प्रयोग है। परियोजना को क्लॉड कोड से स्पेसिफिकेशन लिखने और लाल/हरा TDD का उपयोग करके टूल लागू करने के लिए प्रॉम्प्ट करके जनरेट किया गया था।

media r/LocalLLaMA · 8 घंटे पहले

सुझाव: Intel ARC पर PP सुधारने के लिए इस llama.cpp PR का उपयोग करें

llama.cpp के लिए एक सामुदायिक पल रिक्वेस्ट (pull request) Intel ARC उपयोगकर्ताओं के लिए प्रॉम्प्ट प्रोसेसिंग गति को काफी बढ़ाता है, विशेष रूप से B580 जैसे हार्डवेयर को लाभ होता है। योगदानकर्ता ने संदर्भ हैंडलिंग को तेज करने के लिए Claude की सहायता से कोड को अनुकूलित किया।

media r/LocalLLaMA · 8 घंटे पहले

शोधकर्ताओं ने स्थानीय, ओपन-वेट मॉडल पर पूरी तरह से काम करने वाले स्व-प्रतिकृति AI वर्म को बनाया

एक नई Arxiv पेपर में एक ऐसे स्व-प्रतिकृति AI वर्म के निर्माण का विवरण दिया गया है जो पूरी तरह से स्थानीय, ओपन-वेट मॉडल का उपयोग करके कार्य करता है। यह विकास बाह्य निर्भरताओं के बिना स्वतंत्र AI एजेंट्स के संचालन की संभावता को उजागर करता है।

media r/LocalLLaMA · 8 घंटे पहले

AMD GPUs के लिए बेहतर HIP Kernel जनरेशन की ओर: सिंथेटिक डेटा, मल्टी-एजेंट सर्च, और रीइन्फोर्समेंट लर्निंग

स्टैनफोर्ड के Scaling Intelligence ब्लॉग से यह लेख सिंथेटिक डेटा, मल्टी-एजेंट सर्च, और रीइन्फोर्समेंट लर्निंग का उपयोग करके AMD GPUs के लिए HIP kernel जनरेशन को बेहतर बनाने की विधियों पर चर्चा करता है।

lab ByteDance Seed (HF) · 8 घंटे पहले

ByteDance-Seed/PAR: प्रोटीन ऑटोरिग्रेसिव मॉडलिंग चेकपॉइंट्स

यह रिपॉजिटरी मल्टीस्केल स्ट्रक्चर जनरेशन के माध्यम से प्रोटीन ऑटोरिग्रेसिव मॉडलिंग के लिए मॉडल चेकपॉइंट्स प्रदान करता है, जिसे ICML 2026 में एक मौखिक प्रस्तुति के रूप में स्वीकार किया गया था।

lab Claude Code Releases · 9 घंटे पहले

Claude Code v2.1.199 रिलीज़ नोट्स

Claude Code v2.1.199 अपडेट स्थिरता और उपयोगिता की समस्याओं को संबोधित करता है, जिसमें SSL प्रमाणपत्र त्रुटियों, स्ट्रीमिंग प्रतिक्रिया हैंडलिंग और बैकग्राउंड एजेंट प्रबंधन के लिए फिक्स शामिल हैं।

lab Anthropic News · 9 घंटे पहले

Anthropic ने Fable 5 के साइबर सुरक्षा उपायों और जेलब्रेक फ्रेमवर्क का विवरण दिया

Anthropic ने Claude Fable 5 को वैश्विक स्तर पर पुनः तैनात किया है और अपने साइबर सुरक्षा सुरक्षा वर्गीकारकों और एक प्रस्तावित AI जेलब्रेक गंभीरता फ्रेमवर्क के बारे में विस्तृत जानकारी प्रकाशित की है। कंपनी सरकारों के साथ जेलब्रेक जोखिमों पर चर्चा करने के लिए स्थिर शब्दावली स्थापित करने का लक्ष्य रखती है, जबकि व्यापक समुदाय से प्रतिक्रिया आमंत्रित करती है।

media r/LocalLLaMA · 9 घंटे पहले

डुअल R9700: Qwen3.6 27B के लिए सर्वोत्तम सूत्र?

एक उपयोगकर्ता llama.cpp का उपयोग करके डुअल AMD Radeon R9700 सेटअप पर Qwen3.6-27B मॉडल को अनुकूलित करने की जांच कर रहा है, Vulkan और ROCm बैकएंड्स के बीच प्रदर्शन की तुलना कर रहा है।

media r/LocalLLaMA · 9 घंटे पहले

Gemma 4 WebGPU Kernels ने 255 tok/s हासिल किया

Xenova ने Gemma 4 के लिए WebGPU kernels जारी किए हैं, जिसमें 255 tokens per second की प्रदर्शन क्षमता प्राप्त हुई है। यह अनुकूलन घने मॉडलों को वेब ब्राउज़र में 100 tok/s से अधिक गति पर चलाने सक्षम बनाता है।

blog Simon Willison · 10 घंटे पहले

Datasette Agent के SQL सिस्टम प्रॉम्प्ट्स का मूल्यांकन और सुधार करने के लिए DSPy का उपयोग

सिमन विलिसन ने डेटासेट एजेंट के लिए सिस्टम प्रॉम्प्ट्स के मूल्यांकन और अनुकूलन को स्वचालित करने के लिए Claude Code का उपयोग Fable 5 मॉडल के साथ किया, विशेष रूप से इसके केवल-पढ़ने योग्य SQL क्वेरी निष्पादन सुविधा पर ध्यान केंद्रित करते हुए। इस प्रक्रिया में डेटासेट एल्फा और DSPy की नवीनतम स्थापना शामिल थी ताकि यह पहचाना जा सके कि एजेंट स्कीमा जानकारी को कैसे संभालता है, जहाँ कमजोरियां हैं।

media r/LocalLLaMA · 10 घंटे पहले

Nvidia के AI अग्रणी AGI को अस्वीकार करते हैं, OpenAI और Anthropic की तुलना AOL से करते हैं

Nvidia के एक प्रमुख व्यक्ति ने कहा है कि वह कृत्रिम सामान्य बुद्धिमत्ता (AGI) में विश्वास नहीं करता है और तर्क देते हैं कि उद्योग का ध्यान व्यवसायों के लिए अनुकूलित ओपन-सोर्स मॉडलों की ओर बढ़ना चाहिए।

media r/LocalLLaMA · 10 घंटे पहले

RTX 3090 के साथ स्थानीय बेंचमार्क - Qwen3.6 27b बनाम Ornith

एक उपयोगकर्ता ने inspect-ai फ्रेमवर्क का उपयोग करके RTX 3090 पर स्थानीय मॉडल प्रदर्शन का मूल्यांकन करने के लिए Qwen3.6 27b, Gemma4 26B A4B QAT, और Ornith1.0 35B MoE की तुलना की। परीक्षण ने सामान्य ज्ञान, ग्राउंडिंग और कोडिंग बेंचमार्क में मिश्रित परिणाम दिखाए, जिसमें स्कोर में Qwen3.6 सामान्य रूप से अग्रणी था जबकि Ornith ने DROP जैसे विशिष्ट क्षेत्रों में मजबूती दिखाई।

media r/LocalLLaMA · 11 घंटे पहले

उपयोगकर्ता ने 88 परतों के साथ 44B मॉडल में Gemma 4 31B का विस्तार किया

एक Reddit उपयोगकर्ता ने Google Gemma 4 31B मॉडल का विस्तार किया, जिसमें 60 परतें हैं, 88 परतों वाले बड़े 44B पैरामीटर संस्करण में। यह संशोधन इसलिए किया गया क्योंकि Google ने Lyzr Architect पर उपयोग के लिए मॉडल का कोई बड़ा घन संस्करण जारी नहीं किया है।

media Hugging Face Forums · 11 घंटे पहले

सत्यापन संतृप्ति k*: पुनर्प्राप्ति गहराई को अनुमानित नहीं, बल्कि कैलिब्रेट किया जाना चाहिए

LLM कॉल के लिए सत्यापन गहराई पर एक पायलट बेंचमार्क तर्क देता है कि कैलिब्रेशन को तथ्यात्मक सटीकता से परे जाकर ज्ञानवादी दूषितकरण और फ्रेमिंग लीकेज को शामिल करना चाहिए। अध्ययन 'k*' को उस बिंदु के रूप में परिभाषित करता है जहां विश्वसनीयता अधिकतम होती है, इसे मानक रेट्रीवर top-k या स्टेट-घनत्व मेट्रिक्स से अलग करते हुए।