あるユーザーは、ローカルのコーディング大規模言語モデルを実行するためのGPUの選択について助言を求めており、3つの特定のハードウェアオプションを検討しています。比較の対象は、VRAM 48GBの改造RTX 4090、Radeon AI Pro R9700カード2枚、およびIntel Arc Pro B70カード2枚に焦点が当てられています。

  • 改造RTX 4090 48GB: AD102アーキテクチャ全体、約1TB/sの帯域幅、CUDAサポートを提供し、3,500ドルですが、サードパーティ製ファームウェア、信頼性、保証欠如に関するリスクを伴います。
  • Radeon AI Pro R9700 32GB x2: RDNA4アーキテクチャ、640 GB/sの帯域幅、PCIe 5.0、公式保証を搭載し、約1,300ドルですが、ROCmの互換性はCUDAほど成熟していないとされています。
  • Intel Arc Pro B70 32GB x2: Battlemageアーキテクチャ、608 GB/sの帯域幅、367 TOPS INT8を搭載し、約1,080ドルですが、FP4サポートがなく、oneAPI/OpenVINO向けのドライバー成熟度について疑問が残ります。

ユーザーは推論および軽量ファインチューニングのために30〜40トークン/秒（tps）の達成を目指しており、現在のDGX Sparkセットアップが20 tpsに制限されていることを指摘しています。