रूस में एक उपयोगकर्ता इंटरनेट प्रतिबंधों की आशंका के कारण पूरी तरह से ऑफ़लाइन AI रैक बनाने की योजना बना रहा है और हार्डवेयर व प्रदर्शन अनुकूलन पर सलाह चाहता है। प्रस्तावित विन्यास में दो Intel Xeon 2683v4 CPUs, 256GB DDR4 ECC RAM, और एक NVIDIA V100 16GB GPU शामिल हैं, जिसका अनुमानित बजट $1500 है।
- लक्षित मॉडलों में Deepseek V4 Flash (284B) और MiMo V2.5 (310B) शामिल हैं, जिनमें पहले के लिए केवल CPU पर इनफरेंस का अनुमान 6-7 टोकन प्रति सेकंड है।
- उपयोगकर्ता ने बताया कि Qwen3.5 9B मॉडल पर प्राथमिक परीक्षणों में मानक llama.cpp की तुलना में ik_llama.cpp का उपयोग करने से प्रॉम्प्ट प्रोसेसिंग गति दोगुनी हो गई।
- एकत्रित अनुकूलन सुझावों में बैच साइज़ कॉन्फ़िगर करना, OMP_WAIT_POLICY=ACTIVE सेट करना और MTP मॉडलों का उपयोग शामिल है।
- प्रोसेसर के बीच संचार विलंबता और भविष्य के GPU विस्तार के लिए आठ मेमोरी चैनल समर्थित करने वाली मदरबोर्ड की उपलब्धता को लेकर चिंताएँ बनी हुई हैं।