あるユーザーが、llama.cppを用いてRTX 4090および128 GB DDR5 RAMの環境で、unslothのUD-Q2_K_XL量子化されたDeepSeek V4 Flashモデルの実行に成功しました。この構成は10.9 tok/sの生成速度を達成し、Qwen 3.6-27Bよりも遅いものの、エージェントタスクには妥当な速度と評価されています。

  • Intel Core Ultra 7 270k CPUで物理コアを固定することで、推論速度が6.8 tok/sから11 tok/sに倍増しました。
  • CUDAバッファオーバーフローを防ぐために、flash attentionの無効化（`-fa off`）とコンテキスト量子化の調整が必要でした。
  • IQ4_NL量子化バリアントは遅すぎ（8.1 t/s）、かつ10kのコンテキストウィンドウに制限されていました。

著者は、さらなる最適化により、この構成が24GB GPUを持つユーザーにとってQwen 3.6-27Bを置き換える可能性があると示唆しています。