Las cuantizaciones NVFP4 y FP8 de Qwen3.6-27B causan bucles de agentes en GPUs Blackwell

Un usuario informa de graves problemas de fiabilidad al ejecutar Qwen3.6-27B con las cuantizaciones NVFP4 de NVIDIA y la oficial FP8 en flujos de trabajo agénticos, en contraste con el rendimiento impecable de la línea base BF16.

• El modelo presenta interrupciones a mitad de tarea y bucles de fallo en una GPU RTX PRO 6000 Blackwell utilizando vLLM 0.24.0.
• Aumentar la penalización por repetición no logra romper los bucles, haciendo que el modelo alterne entre dos frases de fallo distintas en lugar de repetir una.
• La cuantización NVFP4 muestra una degradación significativamente más frecuente que FP8, mientras que BF16 permanece sin afectar.

El autor busca confirmación sobre si estos problemas son artefactos conocidos de la cuantización de bajo bit para modelos de pensamiento o si ajustes específicos de configuración de vLLM pueden resolverlos.