एक रेडिट उपयोगकर्ता एक लैपटॉप पर 100 अरब से अधिक पैरामीटर वाले बड़े भाषा मॉडल चलाने का प्रदर्शन करता है जिसमें Intel i7-8750H, 20GB RAM और GTX 1050 Mobile GPU है। सेटअप मेमोरी-मैप्ड फ़ाइल (mmap) एक्सेस का उपयोग करके Samsung NVMe ड्राइव पर मॉडल पैरामीटर को ऑफलोड करने पर बहुत निर्भर करता है।
- उपयोगकर्ता CPU को अत्यधिक भारित न करने के लिए कठोरता से Mixture of Experts (MoE) मॉडल का उपयोग करता है, जबकि घन मॉडल अनुपयुक्त माने जाते हैं।
- क्वांटीज़ेशन सेटिंग्स में मानक बड़े मॉडल के लिए Q3_K_M और 700B पैरामीटर से अधिक और 20B सक्रिय पैरामीटर वाले मॉडल के लिए Q2 शामिल हैं।
- विशिष्ट परीक्षण किए गए मॉडल में Deepseek-V4-Flash (UD-IQ3_XXS) शामिल है जो 1.0-1.8 टोकन प्रति सेकंड प्राप्त करता है और Nemotron-3-Super-120B-A12B (UD-Q3_K_M) 1.5-2.5 टोकन प्रति सेकंड प्राप्त करता है।
- कार्यप्रवाह इंजीनियरिंग और कोड ऑडिटिंग जैसे कार्यों के लिए LM Studio का उपयोग बैच-शैली प्रसंस्करण के साथ करता है, जो 16K से 90K टोकन की संदर्भ विंडो को समायोजित करता है।
यह कॉन्फ़िगरेशन अंतर्राष्ट्रीय भुगतान विकल्पों में प्रतिबंधित क्षेत्रों में उपयोगकर्ताओं को क्लाउड सेवाओं के विकल्प के रूप में शक्तिशाली स्थानीय मॉडल का उपयोग करने की अनुमति देता है।