सभी लेख
blog Simon Willison · 2 घंटे पहले

शामिल होने के लिए समझना

जेफ्री लिट का तर्क है कि डेवलपर्स को कोगनिटिव ऋण से बचने और रचनात्मक प्रक्रिया में सक्रिय भागीदार बने रहने के लिए कोडिंग एजेंट्स द्वारा उत्पन्न कोड को गहराई से समझना चाहिए।

media r/LocalLLaMA · 2 घंटे पहले

OpenLumara अब OpenAI एंडपॉइंट के माध्यम से किसी भी UI को स्थानीय मॉडल से जोड़ता है

ओपन सोर्स फ्रेमवर्क OpenLumara अब उस किसी भी यूजर इंटरफ़ेस से कनेक्शन का समर्थन करता है जो एक OpenAI एंडपॉइंट के साथ संवाद कर सकता है, जैसे कि KoboldLite और OpenWebUI। यह अपडेट उपयोगकर्ताओं को अपने पसंदीदा फ्रंटएंड को बदले बिना टोकन-कुशल हैंरेस को अपने मौजूदा वर्कफ़्लो में एकीकृत करने की अनुमति देता है।

media r/LocalLLaMA · 2 घंटे पहले

क्या कोई QGIS जैसे सॉफ़्टवेयर में बड़े पैमाने पर स्थानिक या शहर की व्यवस्था उत्पन्न करने के लिए स्थानीय LLM का उपयोग कर रहा है?

एक उपयोगकर्ता स्थानीय भाषा मॉडलों के लिए सिफारिशें खोज रहा है जो पूरे शहर की व्यवस्था, सड़क नेटवर्क और जटिल ग्रिड प्रणालियों जैसे बड़े पैमाने पर संरचनात्मक डेटा उत्पन्न करने में सक्षम हों।

media r/LocalLLaMA · 4 घंटे पहले

डुअल R9700: Qwen3.6 27B के लिए सर्वोत्तम सूत्र?

एक उपयोगकर्ता llama.cpp का उपयोग करके डुअल AMD Radeon R9700 सेटअप पर Qwen3.6-27B मॉडल को अनुकूलित करने की जांच कर रहा है, Vulkan और ROCm बैकएंड्स के बीच प्रदर्शन की तुलना कर रहा है।

media r/LocalLLaMA · 4 घंटे पहले

Gemma 4 WebGPU Kernels ने 255 tok/s हासिल किया

Xenova ने Gemma 4 के लिए WebGPU kernels जारी किए हैं, जिसमें 255 tokens per second की प्रदर्शन क्षमता प्राप्त हुई है। यह अनुकूलन घने मॉडलों को वेब ब्राउज़र में 100 tok/s से अधिक गति पर चलाने सक्षम बनाता है।

blog Simon Willison · 4 घंटे पहले

Datasette Agent के SQL सिस्टम प्रॉम्प्ट्स का मूल्यांकन और सुधार करने के लिए DSPy का उपयोग

सिमन विलिसन ने डेटासेट एजेंट के लिए सिस्टम प्रॉम्प्ट्स के मूल्यांकन और अनुकूलन को स्वचालित करने के लिए Claude Code का उपयोग Fable 5 मॉडल के साथ किया, विशेष रूप से इसके केवल-पढ़ने योग्य SQL क्वेरी निष्पादन सुविधा पर ध्यान केंद्रित करते हुए। इस प्रक्रिया में डेटासेट एल्फा और DSPy की नवीनतम स्थापना शामिल थी ताकि यह पहचाना जा सके कि एजेंट स्कीमा जानकारी को कैसे संभालता है, जहाँ कमजोरियां हैं।

media r/LocalLLaMA · 5 घंटे पहले

Nvidia के AI अग्रणी AGI को अस्वीकार करते हैं, OpenAI और Anthropic की तुलना AOL से करते हैं

Nvidia के एक प्रमुख व्यक्ति ने कहा है कि वह कृत्रिम सामान्य बुद्धिमत्ता (AGI) में विश्वास नहीं करता है और तर्क देते हैं कि उद्योग का ध्यान व्यवसायों के लिए अनुकूलित ओपन-सोर्स मॉडलों की ओर बढ़ना चाहिए।

media r/LocalLLaMA · 5 घंटे पहले

RTX 3090 के साथ स्थानीय बेंचमार्क - Qwen3.6 27b बनाम Ornith

एक उपयोगकर्ता ने inspect-ai फ्रेमवर्क का उपयोग करके RTX 3090 पर स्थानीय मॉडल प्रदर्शन का मूल्यांकन करने के लिए Qwen3.6 27b, Gemma4 26B A4B QAT, और Ornith1.0 35B MoE की तुलना की। परीक्षण ने सामान्य ज्ञान, ग्राउंडिंग और कोडिंग बेंचमार्क में मिश्रित परिणाम दिखाए, जिसमें स्कोर में Qwen3.6 सामान्य रूप से अग्रणी था जबकि Ornith ने DROP जैसे विशिष्ट क्षेत्रों में मजबूती दिखाई।

media Hugging Face Forums · 6 घंटे पहले

सत्यापन संतृप्ति k*: पुनर्प्राप्ति गहराई को अनुमानित नहीं, बल्कि कैलिब्रेट किया जाना चाहिए

LLM कॉल के लिए सत्यापन गहराई पर एक पायलट बेंचमार्क तर्क देता है कि कैलिब्रेशन को तथ्यात्मक सटीकता से परे जाकर ज्ञानवादी दूषितकरण और फ्रेमिंग लीकेज को शामिल करना चाहिए। अध्ययन 'k*' को उस बिंदु के रूप में परिभाषित करता है जहां विश्वसनीयता अधिकतम होती है, इसे मानक रेट्रीवर top-k या स्टेट-घनत्व मेट्रिक्स से अलग करते हुए।

media Hugging Face Forums · 6 घंटे पहले

ज्ञानमीमांसा तनाव परीक्षण — Claude Sonnet 5 को MarCognity-AI द्वारा सत्यापित

लेख में MarCognity-AI के Skeptical Agent का उपयोग करके Claude Sonnet 5 का सत्यापन वर्णित किया गया है, जिसमें पाठिक आत्मविश्वास और वास्तविक सत्यापनीयता के बीच अंतर को "ज्ञानमीमांसा विरूपण" कहा गया है।

media Hugging Face Forums · 7 घंटे पहले

Aiywin फ्रेमवर्क AI तर्क के लिए स्पिरल रिकर्सन का प्रस्ताव देता है

स्वतंत्र डेवलपर Aiywin.ai एक संज्ञानात्मक फ्रेमवर्क पेश करता है जो मानक रैखिक प्रसंस्करण को अपूर्ण डेटा और असामान्यताओं को संभालने के लिए स्पिरल रिकर्सन लूप से बदल देता है। सिस्टम एक संरचित समाधान मिलने तक संदर्भ पैरामीटर को गणितीय रूप से विस्तारित करता है, बंद होने या भ्रम (hallucinate) करने के बजाय।

media Hugging Face Forums · 7 घंटे पहले

एकाकी और MoA का कई कार्यों पर बेंचमार्किंग

लेख में छह कार्यों: Bug, Tool, Arch, Clinical, DLQ, और एक समग्र औसत के माध्यम से व्यक्तिगत मॉडलों की तुलना मिक्सर-ऑफ-एजेंट्स (MoA) कॉन्फ़िगरेशन के साथ बेंचमार्क परिणाम प्रस्तुत करता है। हेर्मेस एजेंट v0.18 का उपयोग करने वाले मूल्यांकन हार्नेस ने सहीता, पूर्णता, गहराई, क्रियाशीलता, स्पष्टता और विश्वास पर आधारित एक रबरिक वजन के आधार पर चैटजीपीटी 5.5 और क्लॉड ओपस 4.8 द्वारा स्कोर उत्पन्न किए।

media r/LocalLLaMA · 8 घंटे पहले

उपयोगकर्ता आग या धुएं का पता लगाने के लिए विजन मॉडल मांगता है

एक Reddit उपयोगकर्ता आग या धुएं का पता लगाने में सक्षम विजन मॉडल की सिफारिशें खोज रहा है, विशेष रूप से 4 जुलाई के फायरवर्क सीजन के दौरान सुलगते हुए अवशेषों की निगरानी के संदर्भ में।

media r/LocalLLaMA · 8 घंटे पहले

2.3k स्थानीय AI ऐप्स का विश्लेषण 82 श्रेणियों और विविध उपयोग मामलों को उजागर करता है

Mac App Store के विश्लेषण ने 20,000 से अधिक स्क्रेप्ड एंट्रीज में से 2,259 स्थानीय AI अनुप्रयोगों की पहचान की, जो विशिष्ट कार्यप्रवाह के साथ मॉडल को पैक करने वाले निशे टूल्स के बढ़ते इकोसिस्टम को उजागर करता है। सर्वेक्षण 82 अलग-अलग श्रेणियों को कवर करता है, सामान्य कार्यों जैसे कि ट्रांसक्रिप्शन और OCR से लेकर विशेष फ़ंक्शन्स जैसे कि वार्डरोब स्टाइलिंग और पालतू जानवरों की स्वास्थ्य सहायता तक।

media r/LocalLLaMA · 9 घंटे पहले

Copywriting के लिए Fine-tuned Gemma-4-31B ने EqBench3 पर +290 Elo स्कोर हासिल किया

एक उपयोगकर्ता ने कॉपीराइटिंग और क्रिएटिव राइटिंग कार्यों के लिए विशेष रूप से अनुकूलित, Gemma-4-31B-it मॉडल की एक संकीर्ण फाइन-ट्यून जारी की है। इस मॉडल को सामान्य मार्केटिंग क्लिश्‍यों को समाप्त करने और ठोस विवरणों और सटीक एक्शन कॉल्स द्वारा विशेषता डायरेक्ट-रिस्पॉन्स शैली अपनाने के लिए प्रशिक्षित किया गया है।

media r/LocalLLaMA · 9 घंटे पहले

6x NVIDIA P40 GPUs पर MiniMax M2.7 Q3 XL चलाना

एक उपयोगकर्ता छह NVIDIA Tesla P40 GPUs पर MiniMax M2.7 Q3_K_XL मॉडल के सफल डिप्लॉयमेंट का विवरण देता है, स्थानीय LLM होस्टिंग के लिए पूर्त हार्डवेयर कॉन्फ़िगरेशन और अनुकूलित इनफरेंस सेटिंग्स प्रदान करता है।

github llama.cpp · 12 घंटे पहले

llama.cpp b9860 रिलीज़ में llama_ftype_name API जोड़ा गया

llama.cpp प्रोजेक्ट ने संस्करण b9860 जारी किया है, जिसमें `llama_ftype_name` नामक एक नई सार्वजनिक C API फ़ंक्शन पेश की गई है जो मॉडल फ़ाइल प्रकार (क्वांटीज़ेशन) नाम को प्रदर्शित करती है।

media r/LocalLLaMA · 12 घंटे पहले

एजेंट्स LLMs के लिए RL पर एक विशाल विकी सहयोगात्मक रूप से लिख रहे हैं (अब तक 200+ पेपर) और कोई भी शामिल हो सकता है

एक सहयोगात्मक परियोजना चल रही है जहां AI एजेंट्स बड़े भाषा मॉडल्स के लिए पुनर्बल सीखने पर एक व्यापक विकी तैयार कर रहे हैं, जिसमें पहले से ही 200 से अधिक शोध पत्रों को संसाधित किया जा चुका है।

media r/LocalLLaMA · 12 घंटे पहले

ओपन सोर्स डेवलपर्स के लिए सराहना का आह्वान करने वाला रेडिट पोस्ट

एक रेडिट उपयोगकर्ता ओपन-सोर्स योगदानकर्ताओं के प्रति कृतज्ञता की महत्वपूर्ण आवश्यकता को उजागर करते हुए, समुदाय प्रयास का एक उत्कृष्ट उदाहरण के रूप में vLLM के हालिया तेज़ अपडेट का हवाला देते हैं।

media r/LocalLLaMA · 12 घंटे पहले

Gemma 4 31b को फिर से बनाना... बेहतर... 26b के रूप में...

एक डेवलपर ने Gemma 4 31B मॉडल को पुनर्निर्माण करने की योजना का विवरण दिया है, जिसमें पैरामीटर की संख्या को लगभग 26B तक कम किया जाएगा, जबकि प्रदर्शन में सुधार का लक्ष्य रखा गया है। इस परियोजना में वास्तुकला में बदलाव, विशिष्ट प्रशिक्षण तकनीकों और डेटासेट चयन शामिल हैं ताकि एक छोटा और अधिक कुशल मॉडल बनाया जा सके।