सभी लेख
blog Simon Willison · अभी अभी लाइव

शामिल होने के लिए समझना

जेफ्री लिट का तर्क है कि डेवलपर्स को कोगनिटिव ऋण से बचने और रचनात्मक प्रक्रिया में सक्रिय भागीदार बने रहने के लिए कोडिंग एजेंट्स द्वारा उत्पन्न कोड को गहराई से समझना चाहिए।

media r/LocalLLaMA · 1 घंटे पहले लाइव

OpenLumara अब OpenAI एंडपॉइंट के माध्यम से किसी भी UI को स्थानीय मॉडल से जोड़ता है

ओपन सोर्स फ्रेमवर्क OpenLumara अब उस किसी भी यूजर इंटरफ़ेस से कनेक्शन का समर्थन करता है जो एक OpenAI एंडपॉइंट के साथ संवाद कर सकता है, जैसे कि KoboldLite और OpenWebUI। यह अपडेट उपयोगकर्ताओं को अपने पसंदीदा फ्रंटएंड को बदले बिना टोकन-कुशल हैंरेस को अपने मौजूदा वर्कफ़्लो में एकीकृत करने की अनुमति देता है।

media r/LocalLLaMA · 1 घंटे पहले लाइव

क्या कोई QGIS जैसे सॉफ़्टवेयर में बड़े पैमाने पर स्थानिक या शहर की व्यवस्था उत्पन्न करने के लिए स्थानीय LLM का उपयोग कर रहा है?

एक उपयोगकर्ता स्थानीय भाषा मॉडलों के लिए सिफारिशें खोज रहा है जो पूरे शहर की व्यवस्था, सड़क नेटवर्क और जटिल ग्रिड प्रणालियों जैसे बड़े पैमाने पर संरचनात्मक डेटा उत्पन्न करने में सक्षम हों।

media r/LocalLLaMA · 3 घंटे पहले

डुअल R9700: Qwen3.6 27B के लिए सर्वोत्तम सूत्र?

एक उपयोगकर्ता llama.cpp का उपयोग करके डुअल AMD Radeon R9700 सेटअप पर Qwen3.6-27B मॉडल को अनुकूलित करने की जांच कर रहा है, Vulkan और ROCm बैकएंड्स के बीच प्रदर्शन की तुलना कर रहा है।

media r/LocalLLaMA · 3 घंटे पहले

Gemma 4 WebGPU Kernels ने 255 tok/s हासिल किया

Xenova ने Gemma 4 के लिए WebGPU kernels जारी किए हैं, जिसमें 255 tokens per second की प्रदर्शन क्षमता प्राप्त हुई है। यह अनुकूलन घने मॉडलों को वेब ब्राउज़र में 100 tok/s से अधिक गति पर चलाने सक्षम बनाता है।

blog Simon Willison · 3 घंटे पहले

Datasette Agent के SQL सिस्टम प्रॉम्प्ट्स का मूल्यांकन और सुधार करने के लिए DSPy का उपयोग

सिमन विलिसन ने डेटासेट एजेंट के लिए सिस्टम प्रॉम्प्ट्स के मूल्यांकन और अनुकूलन को स्वचालित करने के लिए Claude Code का उपयोग Fable 5 मॉडल के साथ किया, विशेष रूप से इसके केवल-पढ़ने योग्य SQL क्वेरी निष्पादन सुविधा पर ध्यान केंद्रित करते हुए। इस प्रक्रिया में डेटासेट एल्फा और DSPy की नवीनतम स्थापना शामिल थी ताकि यह पहचाना जा सके कि एजेंट स्कीमा जानकारी को कैसे संभालता है, जहाँ कमजोरियां हैं।

media r/LocalLLaMA · 3 घंटे पहले

Nvidia के AI अग्रणी AGI को अस्वीकार करते हैं, OpenAI और Anthropic की तुलना AOL से करते हैं

Nvidia के एक प्रमुख व्यक्ति ने कहा है कि वह कृत्रिम सामान्य बुद्धिमत्ता (AGI) में विश्वास नहीं करता है और तर्क देते हैं कि उद्योग का ध्यान व्यवसायों के लिए अनुकूलित ओपन-सोर्स मॉडलों की ओर बढ़ना चाहिए।

media r/LocalLLaMA · 4 घंटे पहले

RTX 3090 के साथ स्थानीय बेंचमार्क - Qwen3.6 27b बनाम Ornith

एक उपयोगकर्ता ने inspect-ai फ्रेमवर्क का उपयोग करके RTX 3090 पर स्थानीय मॉडल प्रदर्शन का मूल्यांकन करने के लिए Qwen3.6 27b, Gemma4 26B A4B QAT, और Ornith1.0 35B MoE की तुलना की। परीक्षण ने सामान्य ज्ञान, ग्राउंडिंग और कोडिंग बेंचमार्क में मिश्रित परिणाम दिखाए, जिसमें स्कोर में Qwen3.6 सामान्य रूप से अग्रणी था जबकि Ornith ने DROP जैसे विशिष्ट क्षेत्रों में मजबूती दिखाई।

media r/LocalLLaMA · 7 घंटे पहले

2.3k स्थानीय AI ऐप्स का विश्लेषण 82 श्रेणियों और विविध उपयोग मामलों को उजागर करता है

Mac App Store के विश्लेषण ने 20,000 से अधिक स्क्रेप्ड एंट्रीज में से 2,259 स्थानीय AI अनुप्रयोगों की पहचान की, जो विशिष्ट कार्यप्रवाह के साथ मॉडल को पैक करने वाले निशे टूल्स के बढ़ते इकोसिस्टम को उजागर करता है। सर्वेक्षण 82 अलग-अलग श्रेणियों को कवर करता है, सामान्य कार्यों जैसे कि ट्रांसक्रिप्शन और OCR से लेकर विशेष फ़ंक्शन्स जैसे कि वार्डरोब स्टाइलिंग और पालतू जानवरों की स्वास्थ्य सहायता तक।

media r/LocalLLaMA · 8 घंटे पहले

Copywriting के लिए Fine-tuned Gemma-4-31B ने EqBench3 पर +290 Elo स्कोर हासिल किया

एक उपयोगकर्ता ने कॉपीराइटिंग और क्रिएटिव राइटिंग कार्यों के लिए विशेष रूप से अनुकूलित, Gemma-4-31B-it मॉडल की एक संकीर्ण फाइन-ट्यून जारी की है। इस मॉडल को सामान्य मार्केटिंग क्लिश्‍यों को समाप्त करने और ठोस विवरणों और सटीक एक्शन कॉल्स द्वारा विशेषता डायरेक्ट-रिस्पॉन्स शैली अपनाने के लिए प्रशिक्षित किया गया है।

media r/LocalLLaMA · 8 घंटे पहले

6x NVIDIA P40 GPUs पर MiniMax M2.7 Q3 XL चलाना

एक उपयोगकर्ता छह NVIDIA Tesla P40 GPUs पर MiniMax M2.7 Q3_K_XL मॉडल के सफल डिप्लॉयमेंट का विवरण देता है, स्थानीय LLM होस्टिंग के लिए पूर्त हार्डवेयर कॉन्फ़िगरेशन और अनुकूलित इनफरेंस सेटिंग्स प्रदान करता है।

github llama.cpp · 10 घंटे पहले

llama.cpp b9860 रिलीज़ में llama_ftype_name API जोड़ा गया

llama.cpp प्रोजेक्ट ने संस्करण b9860 जारी किया है, जिसमें `llama_ftype_name` नामक एक नई सार्वजनिक C API फ़ंक्शन पेश की गई है जो मॉडल फ़ाइल प्रकार (क्वांटीज़ेशन) नाम को प्रदर्शित करती है।

media r/LocalLLaMA · 10 घंटे पहले

एजेंट्स LLMs के लिए RL पर एक विशाल विकी सहयोगात्मक रूप से लिख रहे हैं (अब तक 200+ पेपर) और कोई भी शामिल हो सकता है

एक सहयोगात्मक परियोजना चल रही है जहां AI एजेंट्स बड़े भाषा मॉडल्स के लिए पुनर्बल सीखने पर एक व्यापक विकी तैयार कर रहे हैं, जिसमें पहले से ही 200 से अधिक शोध पत्रों को संसाधित किया जा चुका है।

media r/LocalLLaMA · 10 घंटे पहले

ओपन सोर्स डेवलपर्स के लिए सराहना का आह्वान करने वाला रेडिट पोस्ट

एक रेडिट उपयोगकर्ता ओपन-सोर्स योगदानकर्ताओं के प्रति कृतज्ञता की महत्वपूर्ण आवश्यकता को उजागर करते हुए, समुदाय प्रयास का एक उत्कृष्ट उदाहरण के रूप में vLLM के हालिया तेज़ अपडेट का हवाला देते हैं।

media r/LocalLLaMA · 10 घंटे पहले

Gemma 4 31b को फिर से बनाना... बेहतर... 26b के रूप में...

एक डेवलपर ने Gemma 4 31B मॉडल को पुनर्निर्माण करने की योजना का विवरण दिया है, जिसमें पैरामीटर की संख्या को लगभग 26B तक कम किया जाएगा, जबकि प्रदर्शन में सुधार का लक्ष्य रखा गया है। इस परियोजना में वास्तुकला में बदलाव, विशिष्ट प्रशिक्षण तकनीकों और डेटासेट चयन शामिल हैं ताकि एक छोटा और अधिक कुशल मॉडल बनाया जा सके।

media r/LocalLLaMA · 12 घंटे पहले

रेडिट उपयोगकर्ता पूछता है कि क्या उबंटु स्थानीय एआई के लिए सबसे संगत लिनक्स डिस्ट्रो है

r/LocalLLaMA समुदाय में एक रेडिट उपयोगकर्ता लिनक्स पर स्विच कर रहा है और यह पुष्टि चाहता है कि क्या उबंटु स्थानीय एआई वर्कलोड चलाने के लिए सर्वोत्तम संगतता प्रदान करता है।

media Hugging Face Forums · 12 घंटे पहले

वेबसाइट डाउनलोड पर Unicode अक्षर समर्थन

Hugging Face वेबसाइट डाटासेट से व्यक्तिगत फ़ाइलें डाउनलोड करते समय, चाहे डाउनलोड बटन के माध्यम से हो या resolve URL के माध्यम से, Unicode अक्षरों को उचित रूप से एन्कोड नहीं कर पाती है।

media Hugging Face Forums · 12 घंटे पहले

क्या LLM एजेंट्स पूर्वदृष्टि विकसित कर सकते हैं?

लेख में तर्क दिया गया है कि वर्तमान LLM एजेंट अक्सर निहित परिणाम जागरूकता के साथ कार्य करते हैं, जो परिणामकारी कार्यों के लिए अपर्याप्त है। यह निष्पादन से पहले जोखिमों को मॉडल करने और प्रभावों की भविष्यवाणी सुनिश्चित करने के लिए एक आवश्यक आर्किटेक्चर परत के रूप में "स्पष्ट पूर्वदृष्टि" का प्रस्ताव देता है।