あるユーザーが、2枚のNVIDIA RTX 3090 GPU上でternary-quantized Qwen3.6 27Bモデルの正常な動作に成功したと報告しています。この構成では、安定したツール呼び出し機能を持ちながら、60トークン/秒のスループットを達成しています。

  • 各GPUには100kのKVキャッシュスロットが割り当てられています。
  • 両方のカードでの総VRAM消費量は約21GBです。
  • ユーザーは出力品質が良好に見えると述べていますが、コーディングテストは行われていません。