LuceboxはAMDと提携し、推論速度においてNvidia DGX Sparkを上回るheterogeneousなコンシューマー向けハードウェア構成を実証しました。このシステムは、AMD Radeon AI PRO R9700 GPUとStrix Haloプロセッサを組み合わせて、284BのDeepSeek V4 Flashモデル全体を実行します。

  • この構成は、完全なモデルで51.1 tok/sのデコード速度を達成します。
  • 単一のNvidia DGX Sparkユニットと比較して3.63倍のパフォーマンス優位性を提供します。
  • R9700は密パス、ホットエクスパート、キャッシュ、ドラフトモデルを処理し、Strix Haloは並列計算のために128GBのメモリ内で他のエクスパートを管理します。
  • この構成のコストは、2台のNvidia DGX Sparkデバイスを購入するよりも$2,899安くなります。

著者らは、これはQ2モデルを16kコンテキストで実行する実験的実装であり、64k-128kのコンテキストをサポートするためにKVFlashを実装する計画があると指摘しています。