एक रेडिट उपयोगकर्ता चार एनवीडिया ब्लैकवेल GPU वाले कस्टम लोकल सर्वर पर कौन सा बड़ा भाषा मॉडल तैनात करना है, जिसमें लगभग 384GB VRAM प्रदान होता है, इसके बारे में समुदाय की सलाह खोज रहे हैं। उपयोगकर्ता के संगठन आंतरिक नीति प्रबंधन और विचार कार्य के लिए मॉडल होस्ट करने की योजना बना रहा है, दो से तीन शक्तिशाली उपयोगकर्ताओं और अधिकतम बीस समवर्ती उपयोगकर्ताओं के उपयोग की उम्मीद है।
पोस्टर ने नोट किया है कि वे वर्तमान में DeepSeek V3 Flash की ओर झुकाव रखते हैं और हार्डवेयर विनिर्देश में चार RTX PRO 6000 शामिल होने का उल्लेख करते हैं। उन्होंने यह भी बताया है कि यदि सिस्टम को आठ ब्लैकवेल GPU तक बढ़ाया जाता है तो मॉडल चयन कैसे बदल सकता है, इसे समझने में उनकी रुचि है।
यह प्रश्न उच्च-अंत लोकल इनफरेंस हार्डवेयर के लिए एंटरप्राइज़-ग्रेड आंतरिक AI अनुप्रयोगों में बढ़ते रुचि को रेखांकित करता है।