Un utilisateur cherche des conseils pour choisir un GPU afin d'exécuter des grands modèles de langage (LLM) de codage en local, en pesant trois options matérielles spécifiques. La comparaison porte sur une RTX 4090 modifiée avec 48 Go de VRAM, deux cartes Radeon AI Pro R9700 et deux cartes Intel Arc Pro B70.
- RTX 4090 48 Go modifiée : Offre l'architecture AD102 complète, une bande passante d'environ 1 To/s et le support CUDA pour 3 500 $, mais comporte des risques liés au firmware tiers, à la fiabilité et à l'absence de garantie.
- 2x Radeon AI Pro R9700 32 Go : Dispose de l'architecture RDNA4, d'une bande passante de 640 Go/s, du PCIe 5.0 et d'une garantie officielle pour environ 1 300 $, bien que la compatibilité ROCm soit jugée moins mature que CUDA.
- 2x Intel Arc Pro B70 32 Go : Prix d'environ 1 080 $ avec l'architecture Battlemage, une bande passante de 608 Go/s et 367 TOPS INT8, mais manque de support FP4 et fait face à des questions sur la maturité des pilotes pour oneAPI/OpenVINO.
L'utilisateur vise à atteindre 30 à 40 tokens par seconde (tps) pour l'inférence et le fine-tuning léger, notant que sa configuration DGX Spark actuelle est limitée à 20 tps.