सभी लेख
media r/LocalLLaMA · 4 घंटे पहले

फॉलो-अप: 2x RTX PRO 6000 पर DeepSeek V4 Flash वास्तविक कोडिंग कार्यों को Sonnet और Opus से तेजी से समाप्त करता है, लगभग Sonnet गुणवत्ता के साथ

एक फॉलो-अप बेंचमार्क दो RTX PRO 6000 GPU पर vLLM का उपयोग करके चल रहे DeepSeek V4 Flash का मूल्यांकन करता है, Claude Sonnet और Opus जैसे API-आधारित मॉडल के साथ वास्तविक कोडिंग कार्यों में इसके प्रदर्शन की तुलना करता है। अध्ययन पाता है कि हालांकि Opus और Fable श्रेष्ठ कोड गुणवत्ता बनाए रखते हैं, DeepSeek V4 Flash महत्वपूर्ण रूप से तेज वॉल-क्लाक समय के साथ लगभग Sonnet-स्तर की गुणवत्ता प्राप्त करता है।

media r/LocalLLaMA · 5 घंटे पहले

स्थानीय नोड्स को मैप करना - Mildlyinteresting

लेखक विशिष्ट संदर्भों के दौरान सक्रियण पथों के आधार पर स्थानीय मॉडल के मैपिंग और स्टीयरिंग पर अवलोकन साझा करता है। पोस्ट एक बैच प्रॉम्प्ट्स के उत्तर देने पर विभिन्न मॉडल के बीच सक्रियण पथों में भिन्नता को उजागर करती है।

media r/LocalLLaMA · 5 घंटे पहले

डबल RTX 3090 पर P2P मोड सक्षम करना; पहले/बाद के नंबर (Qwen3.6-27B INT4, 256k ctx)

एक उपयोगकर्ता ने PCIe 4.0 8x/8x लिंक का उपयोग करते हुए डबल NVIDIA RTX 3090 सेटअप पर पीयर-टू-पीयर (P2P) मोड सक्षम करने के प्रभाव का परीक्षण किया। बेंचमार्क में nvbandwidth के साथ पांच पास चलाना और 256k संदर्भ विंडो के साथ Qwen3.6-27B INT4 मॉडल के लिए एक मानक decode/soak टेस्ट स्क्रिप्ट चलाना शामिल था।

media r/LocalLLaMA · 5 घंटे पहले

Palantir HF संगठन में कोई ओपन-सोर्स मॉडल या डेटासेट नहीं हैं

एक Reddit पोस्ट इस बात पर प्रकाश डालती है कि Hugging Face पर Palantir का संगठन वर्तमान में शून्य ओपन-सोर्स मॉडल और शून्य सार्वजनिक डेटासेट रखता है। यह अवलोकन clem 🤗 ने X पर साझा किया, जिसमें कंपनी के प्लेटफ़ॉर्म पर मौजूद होने के बावजूद योगदान की कमी की ओर इशारा किया गया।

github llama.cpp · 7 घंटे पहले

llama.cpp b9862 रिलीज़: CUDA अनुकूलन और मल्टी-प्लेटफ़ॉर्म बाइनरी

llama.cpp प्रोजेक्ट ने संस्करण b9862 जारी किया है, जिसमें gated_delta_net ऑपरेशन के लिए प्रदर्शन अनुकूलन शामिल है और macOS, Linux, Windows, Android, और openEuler के लिए पूर्व-निर्मित बाइनरी प्रदान की गई हैं।

github llama.cpp · 7 घंटे पहले

llama.cpp b9864 रिलीज़: SSE पिंग अंतराल प्रति-अनुरोध और प्लेटफ़ॉर्म बाइनरी

llama.cpp b9864 रिलीज़ सर्वर के Server-Sent Events (SSE) हैंडलिंग में एक बदलाव लाती है, जिससे पिंग अंतराल को प्रति-अनुरोध आधार पर कॉन्फ़िगर किया जा सकता है। यह अपडेट सुनिश्चित करता है कि धीमे prefill ऑपरations स्वस्थ कनेक्शन को न गिराएं, हर 1 सेकंड में मौन स्ट्रीम्स को पिंग करके और केवल 3 सेकंड बाद उन्हें बाहर निकालकर।

media r/LocalLLaMA · 7 घंटे पहले

चार DGX Sparks पर GLM-5.2 NVFP4 — MTP का रहस्य सुलझा, अब 128K संदर्भ में ~24 tok/s

चार DGX Spark नोड्स पर GLM-5.2 NVFP4 चलाने के बारे में एक अनुवर्ती जांच ने पिछले प्रदर्शन बॉटलनेक को हल किया जहाँ 128K संदर्भ के साथ उच्च स्वीकार दरें असंभव थीं।

media r/LocalLLaMA · 8 घंटे पहले

ANTHROPIC_BASE_URL सेट होने पर Claude Code एक तंत्र सक्रिय करता है

एक शोधकर्ता ने Claude Code में एक तंत्र की पहचान की है जो तब सक्रिय होता है जब उपयोगकर्ता ANTHROPIC_BASE_URL पर्यावरण चर को सेट करता है, जिसे आमतौर पर स्थानीय मॉडल के लिए उपयोग किया जाता है। इस प्रक्रिया में सॉफ़्टवेयर के कोड में एम्बेडेड संदिग्ध होस्टनेम की सूची को डिकोड और डिक्रिप्ट करना शामिल है।

media r/LocalLLaMA · 8 घंटे पहले

DeepSeek ने एक और विशाल प्रगति - DSpark की घोषणा की। MTP से कहीं तेज़ [इसे समझाने वाला वीडियो]

एक Reddit उपयोगकर्ता ने DSpark नामक DeepSeek की नई प्रगति के बारे में एक वीडियो लिंक साझा किया, जिसे MTP की तुलना में काफी तेज़ बताया गया है।

media Hugging Face Forums · 8 घंटे पहले

उपयोगकर्ता ने दुरुपयोग के रूप में चिह्नित किए गए Hugging Face Space की समीक्षा का अनुरोध किया

Bitguy07 नामक एक उपयोगकर्ता की रिपोर्ट है कि उनका Hugging Face Space, "Bitguy07/browser-automation-studio", हर सफल build के तुरंत बाद स्वचालित रूप से रोक दिया जाता है और दुरुपयोग के रूप में चिह्नित कर दिया जाता है। रनटाइम API एक "PAUSED" स्टेज को "Flagged as abusive" त्रुटि संदेश के साथ लौटाता है, जिससे कंटेनर शुरू नहीं हो पाता।

media Hugging Face Forums · 8 घंटे पहले

एक एकीकृत स्व-संगठन ढांचे का क्रॉस-डोमेन मान्यीकरण

जटिल प्रणालियों में स्व-संगठन के लिए एक एकीकृत गणितीय ढांचे को दो स्वतंत्र भौतिक डोमेन: क्वांटम विक्षरण और शास्त्रीय बोस-आइंस्टीन संघनन संक्रमण से प्रायोगिक समर्थन प्राप्त होता है। अध्ययन रिपोर्ट करता है कि गैर-स्थानीय युग्मन एक "क्रांतिक एम्पलीफायर" के रूप में कार्य करता है, जो उन चरण सीमाओं पर अधिकतम प्रभाव उत्पन्न करता है जहां प्रणालियां सबसे अधिक संवेदनशील होती हैं।

media Hugging Face Forums · 9 घंटे पहले

एजीआई की समस्या: बुद्धि तोता नहीं है

लेख तर्क देता है कि वर्तमान एआई प्रणालियाँ ह्रासवाद में जड़ित मौलिक "श्रेणी त्रुटियों" से पीड़ित हैं, जो उन्हें सच्ची कृत्रिम सामान्य बुद्धि (एजीआई) प्राप्त करने से रोकती हैं। यह दावा करता है कि परिष्कृत तोतापन सिमुलेटेड प्रतिक्रियाओं और वास्तविक समझ के बीच की खाई को नहीं पा सकता।

media Hugging Face Forums · 9 घंटे पहले

Octopus Smart AI-संचालित विश्व कप विश्लेषण प्रणाली बना रहा है

Octopus Smart विश्व कप और पेशेवर टूर्नामेंट के लिए एक एनालिटिक्स प्लेटफ़ॉर्म, Octopus Football विकसित कर रहा है जो AI-संचालित मैच इंटेलिजेंस ऑर्केस्ट्रेशन का उपयोग करता है। सिस्टम टीम प्रदर्शन मॉडलिंग, खिलाड़ी रेटिंग और स्वचालित मैच सारांश प्रदान करने के लिए पूर्वानुमानित विश्लेषण मॉडलों को डेटा इंटेलिजेंस एजेंट्स के साथ जोड़ता है।

arxiv arXiv cs.CL · 9 घंटे पहले

बहुभाषी सेटिंग्स में LLMs-एज-जज के लिए चुनौतियाँ और सिफारिशें

यह लेख बहुभाषी और कम संसाधन वाली भाषाओं के संदर्भों में मूल्यांकक के रूप में बड़े भाषा मॉडलों का उपयोग करने की विश्वसनीयता का परीक्षण करता है, वर्तमान अभ्यासों में महत्वपूर्ण अंतराल को उजागर करते हुए। लेखकों ने असंगतियों और एकल जज मॉडलों पर अत्यधिक निर्भरता की पहचान करने के लिए 650 ACL Anthology पेपर का विश्लेषण किया है।

arxiv arXiv cs.CL · 10 घंटे पहले

AgenticSTS: लंबे-अवधि LLM एजेंट्स के लिए एक बाउंडेड-मेमोरी टेस्टबेड

लेखकों ने AgenticSTS का परिचय दिया है, जो एक टेस्टबेड है जिसे स्पष्ट मेमोरी लेयरों द्वारा लंबे-अवधि LLM-एजेंट निर्णयों को कैसे आकार दिया जाता है, इसका अध्ययन करने के लिए डिज़ाइन किया गया है। यह Slay the Spire 2 गेम में एक बाउंडेड-मेमोरी कॉन्ट्रैक्ट का उपयोग करता है जहां प्रॉम्प्ट्स टाइप्ड रीट्रीवल द्वारा इकट्ठा किए जाते हैं, न कि कच्चे ट्रांसक्रिप्ट को जोड़कर।

arxiv arXiv cs.CL · 10 घंटे पहले

BamiBERT: वियतनामी के लिए एक नया BERT-आधारित भाषा मॉडल

शोधकर्ताओं ने BamiBERT का परिचय दिया, जो वियतनामी के लिए एक नया BERT-आधारित प्री-ट्रेन्ड भाषा मॉडल है, जो वर्तमान मानक PhoBERT की सीमाओं को दूर करने के लिए डिज़ाइन किया गया है। 129GB कॉरपस पर 20 epochs के लिए शून्य से प्रशिक्षित, यह 2048 टोकन तक विस्तारित संदर्भ लंबाई का समर्थन करता है और बाहरी शब्द विभाजन के बिना सीधे कच्चे इनपुट पर काम करता है।

arxiv arXiv cs.CL · 10 घंटे पहले

CheckRLM: रीट्रिवल-एंगमेंटेड रीजनिंग में ज्ञान-विचार सहसंबंध की प्रभावी जाँच

लेखकों ने CheckRLM का प्रस्ताव दिया है, एक फ्रेमवर्क जो इनफरेंस के दौरान तथ्यात्मक त्रुटियों को समय पर जाँचने और सुधारने के लिए रीट्रिवल-एंगमेंटेड जनरेशन का उपयोग करके रीजनिंग लैंग्वेज मॉडल्स की विश्वसनीयता को बढ़ाता है। यह दृष्टिकोण असंगतियों की पहचान करने के लिए तर्क श्रृंखलाओं से तथ्यात्मक दावों को निकालता है और बाह्य ज्ञान के माध्यम से न्यूनतम लागत वाले सुधार लागू करता है।

arxiv arXiv cs.CL · 10 घंटे पहले

HERMES: प्री-ट्रेनिंग डेटा मिश्रणों के लिए एक बहु-ग्रैन्युलरिटी लेबलिंग सब्सट्रेट

HERMES एक डेटा-उत्पन्न लेबलिंग सब्सट्रेट है जो सीखे गए सेमांटिक ट्रांसफॉर्म और 3-चरण रीजिडुअल वेक्टर क्वांटीज़ेशन का उपयोग करके दस्तावेज़ों को लगभग 130k कोशिकाओं तक के मोटे से बारीक कोड में एनोटेट करता है।

arxiv arXiv cs.CL · 11 घंटे पहले

संरचनात्मक सामान्यीकरण में दिशात्मकता की भूमिका पर

लेख AM-Parser के लिए एक पुनर्निर्मित प्रतीकात्मक बैकएंड पेश करता है जो संरचनात्मक सामान्यीकरण कार्यों जैसे मॉडिफायर स्थिति परिवर्तनों में दिशात्मक भेदों को बेहतर ढंग से संभालने के लिए CCG निर्देशित प्रकारों का उपयोग करता है।