ある開発者が、vLLM-Moetと呼ばれるカスタマイズ版vLLMを活用し、単一のNVIDIA RTX 6000 Pro GPU上でDeepSeek V4 Flashモデルの正常な実行に成功した。この成果は、大規模言語モデルを消費者向けハードウェアの限られたVRAMに収めることを可能にする特定圧縮技術によって実現された。

  • この手法ではルーティング済みエクスパートを2ビットに圧縮しつつfp4エクスパートを保持し、モデルを単一GPUに完全にロードすることを可能にする。
  • 初期ロードにはsafetensorシャディングの処理後にVRAMへ移行する前に、約150 GBのRAMまたは拡張スワップ領域が必要となる。
  • RTX 6000 Proでのベンチマークでは、コンテキスト長に応じてトークン生成速度が毎秒約100〜134トークンの範囲で示された。
  • この技術はGLM 5.2もサポートしていると報告されているが、その構成には少なくとも2つのRTX 6000 Pro GPUが必要となる。

この成果は、DeepSeek V4 Flashのような高性能モデルが、専用エンジン修正とエクスパート圧縮を通じて単一消費者向けGPUでアクセス可能であることを示している。