一名用户报告称,在智能体工作流中运行 Qwen3.6-27B 并使用 NVIDIA 的 NVFP4 和官方 FP8 量化时出现严重的可靠性问题,这与 BF16 基线的完美性能形成对比。
- 在使用 vLLM 0.24.0 的 RTX PRO 6000 Blackwell GPU 上,模型表现出任务中途停止和故障循环。
- 增加重复惩罚无法打破循环,导致模型在两个不同的故障短语之间交替,而不是重复同一个短语。
- NVFP4 量化显示出比 FP8 更频繁的退化,而 BF16 不受影响。
作者寻求确认这些问题是否是针对思维模型的低位数量化的已知伪影,或者是否有特定的 vLLM 配置调整可以解决它们。