लेख में Qwen3.6-35B-A3B मॉडल को दो NVIDIA P102-100 ग्राफिक्स कार्ड्स का उपयोग करके चलाने का प्रदर्शन किया गया है, जो मिलकर लगभग $100 की लागत वाले हैं। इस सेटअप में 20GB VRAM और 448GB/s की मेमोरी बैंडविड्थ प्रदान होती है।
- सिस्टम 3 समानांतर उपयोगकर्ताओं का समर्थन करता है, जिनके संदर्भ विंडो 32768 टोकन तक हो सकते हैं।
- परीक्षण के दौरान इनफरेंस गति लगभग 23.5 टोकन प्रति सेकंड तक पहुंच गई।
- कॉन्फ़िगरेशन दो GPUs के बीच मॉडल लोडिंग और स्लॉट आवंटन को प्रबंधित करने के लिए llama.cpp का उपयोग करता है।
यह दृष्टिकोण स्थानीय रूप से बड़े भाषा मॉडल चलाने के लिए एक कम लागत वाला विकल्प प्रदान करता है, जो कम VRAM वाली सस्ती कार्ड्स की तुलना में बेहतर गति और संदर्भ क्षमता प्रदान करता है।