Un usuario busca consejos para seleccionar una GPU para ejecutar modelos de lenguaje grandes (LLMs) de codificación locales, sopesando tres opciones específicas de hardware. La comparación se centra en una RTX 4090 modificada con 48GB de VRAM, dos tarjetas Radeon AI Pro R9700 y dos tarjetas Intel Arc Pro B70.
- RTX 4090 48GB modificada: Ofrece la arquitectura AD102 completa, ~1TB/s de ancho de banda y soporte CUDA por $3.500, pero conlleva riesgos relacionados con firmware de terceros, fiabilidad y falta de garantía.
- 2x Radeon AI Pro R9700 32GB: Cuenta con arquitectura RDNA4, 640 GB/s de ancho de banda, PCIe 5.0 y garantía oficial por ~$1.300, aunque se señala que la compatibilidad ROCm es menos madura que CUDA.
- 2x Intel Arc Pro B70 32GB: Con un precio de ~$1.080, arquitectura Battlemage, 608 GB/s de ancho de banda y 367 TOPS INT8, pero carece de soporte FP4 y enfrenta dudas sobre la madurez de los controladores para oneAPI/OpenVINO.
El usuario busca alcanzar 30-40 tokens por segundo (tps) para inferencia y ajuste fino ligero, señalando que su configuración actual DGX Spark está limitada a 20 tps.