Unsloth 发布了针对 Qwen3.6 模型的优化 NVFP4 量化方案,在保持精度不下降的情况下,相比 NVIDIA 的标准 NVFP4 实现实现了显著的速度提升。

  • 与 NVIDIA 的 W4A16 方法相比,Qwen3.6 27B 使用 W4A4 张量核心运行速度快了 2.5 倍。
  • Qwen3.6 35B-A3B 提供两个变体:NVFP4-Fast(快 1.79 倍)和标准 NVFP4(快 1.56 倍)。
  • 包含 FP8 KV 缓存校准,使上下文长度翻倍。
  • 在 MMLU-Pro、GPQA 和 AIME 2025 上的基准测试显示,其性能与 NVIDIA 的 NVFP4、FP8 和 BF16 基线相当或更优。

这些更新允许用户在保持具有竞争力的精度的同时,以更高的吞吐量部署 Qwen3.6 模型并扩展上下文窗口。