Seorang pengguna mencari saran dalam memilih GPU untuk menjalankan model bahasa besar (LLM) pemrograman secara lokal, dengan mempertimbangkan tiga opsi perangkat keras spesifik. Perbandingan ini berfokus pada RTX 4090 modifikasi dengan VRAM 48GB, dua kartu Radeon AI Pro R9700, dan dua kartu Intel Arc Pro B70.
- RTX 4090 48GB Modifikasi: Menawarkan arsitektur AD102 penuh, bandwidth ~1TB/s, dan dukungan CUDA seharga $3.500, namun membawa risiko terkait firmware pihak ketiga, keandalan, dan tidak adanya garansi.
- 2x Radeon AI Pro R9700 32GB: Dilengkapi arsitektur RDNA4, bandwidth 640 GB/s, PCIe 5.0, dan garansi resmi seharga ~$1.300, meskipun kompatibilitas ROCm dicatatkan kurang matang dibandingkan CUDA.
- 2x Intel Arc Pro B70 32GB: Dihargai ~$1.080 dengan arsitektur Battlemage, bandwidth 608 GB/s, dan 367 TOPS INT8, namun tidak mendukung FP4 dan menghadapi pertanyaan mengenai kematangan driver untuk oneAPI/OpenVINO.
Pengguna bertujuan mencapai 30-40 token per detik (tps) untuk inferensi dan penyetelan halus ringan, mencatat bahwa setup DGX Spark mereka terbatas pada 20 tps.