Um usuário está buscando conselhos sobre a seleção de uma GPU para executar modelos de linguagem grandes (LLMs) de codificação local, ponderando três opções específicas de hardware. A comparação foca em uma RTX 4090 modificada com 48GB de VRAM, duas placas Radeon AI Pro R9700 e duas placas Intel Arc Pro B70.
- RTX 4090 48GB modificada: Oferece arquitetura AD102 completa, largura de banda de ~1TB/s e suporte CUDA por US$ 3.500, mas carrega riscos relacionados a firmware de terceiros, confiabilidade e falta de garantia.
- 2x Radeon AI Pro R9700 32GB: Apresenta arquitetura RDNA4, largura de banda de 640 GB/s, PCIe 5.0 e garantia oficial por ~US$ 1.300, embora a compatibilidade com ROCm seja notada como menos madura que CUDA.
- 2x Intel Arc Pro B70 32GB: Prezado em ~US$ 1.080 com arquitetura Battlemage, largura de banda de 608 GB/s e 367 TOPS INT8, mas carece de suporte FP4 e enfrenta questões sobre a maturidade dos drivers para oneAPI/OpenVINO.
O usuário visa alcançar 30-40 tokens por segundo (tps) para inferência e ajuste fino leve, observando que sua configuração atual DGX Spark é limitada a 20 tps.