一位用户正在寻求关于选择用于运行本地编码大型语言模型的GPU的建议，权衡三种特定的硬件选项。比较重点在于具有48GB显存的改装RTX 4090、双卡Radeon AI Pro R9700以及双卡Intel Arc Pro B70。

  • 改装RTX 4090 48GB：提供完整的AD102架构、约1TB/s带宽和CUDA支持，售价3,500美元，但存在第三方固件风险、可靠性问题以及缺乏保修。
  • 2x Radeon AI Pro R9700 32GB：具备RDNA4架构、640 GB/s带宽、PCIe 5.0和官方保修，售价约1,300美元，但ROCm兼容性被认为不如CUDA成熟。
  • 2x Intel Arc Pro B70 32GB：售价约1,080美元，采用Battlemage架构、608 GB/s带宽和367 TOPS INT8算力，但缺乏FP4支持，且oneAPI/OpenVINO的驱动成熟度存疑。

用户旨在实现每秒30-40个token（tps）的推理和轻量级微调性能，并指出其当前的DGX Spark设置限制在20 tps。