एक उपयोगकर्ता स्थानीय कोडिंग बड़े भाषा मॉडल चलाने के लिए GPU चुनने पर सलाह मांग रहा है, तीन विशिष्ट हार्डवेयर विकल्पों का आकलन करते हुए। तुलना 48GB VRAM वाले एक मॉड्डेड RTX 4090, दो Radeon AI Pro R9700 कार्ड्स, और दो Intel Arc Pro B70 कार्ड्स पर केंद्रित है।
- मॉड्डेड RTX 4090 48GB: $3,500 में पूर्ण AD102 आर्किटेक्चर, ~1TB/s बैंडविड्थ, और CUDA समर्थन प्रदान करता है, लेकिन तीसरे पक्ष के फर्मवेयर, विश्वसनीयता, और वारंटी की कमी के संबंध में जोखिम लेता है।
- 2x Radeon AI Pro R9700 32GB: RDNA4 आर्किटेक्चर, 640 GB/s बैंडविड्थ, PCIe 5.0, और ~$1,300 में आधिकारिक वारंटी प्रस्तुत करता है, हालांकि ROCm संगतता को CUDA से कम परिपक्व बताया गया है।
- 2x Intel Arc Pro B70 32GB: Battlemage आर्किटेक्चर, 608 GB/s बैंडविड्थ, और 367 TOPS INT8 के साथ ~$1,080 में मूल्य निर्धारित है, लेकिन FP4 समर्थन की कमी है और oneAPI/OpenVINO के लिए ड्राइवर परिपक्वता पर प्रश्न हैं।
उपयोगकर्ता इनफरेंस और हल्के फाइन-ट्यूनिंग के लिए प्रति सेकंड 30-40 टोकन (tps) प्राप्त करने का लक्ष्य रखता है, यह नोट करते हुए कि उनका वर्तमान DGX Spark सेटअप 20 tps तक सीमित है।