一位用户报告在两块 NVIDIA RTX 3090 GPU 上成功运行了三量化的 Qwen3.6 27B 模型。该配置实现了每秒 60 个 token 的吞吐量，并具备稳定的工具调用能力。
- 每个 GPU 分配了 100k KV cache 槽位。
- 两张卡的总 VRAM 消耗约为 21GB。
- 用户指出输出质量看起来不错，但未进行代码测试。
三量化 Qwen3.6 27B 在双 RTX 3090 上以 60 tok/s 运行
译自 English → 中文
一位用户报告在两块 NVIDIA RTX 3090 GPU 上成功运行了三量化的 Qwen3.6 27B 模型。该配置实现了每秒 60 个 token 的吞吐量，并具备稳定的工具调用能力。