Quantizações NVFP4 e FP8 do Qwen3.6-27B causam loops de agentes em GPUs Blackwell

Um usuário relata problemas graves de confiabilidade ao executar o Qwen3.6-27B com as quantizações NVFP4 da NVIDIA e a oficial FP8 em fluxos de trabalho agênticos, contrastando com o desempenho impecável da linha de base BF16.

• O modelo exibe interrupção no meio da tarefa e loops de falha em uma GPU RTX PRO 6000 Blackwell usando vLLM 0.24.0.
• Aumentar a penalidade de repetição não consegue quebrar os loops, fazendo com que o modelo alterne entre duas frases de falha distintas em vez de repetir uma.
• A quantização NVFP4 mostra degradação significativamente mais frequente do que FP8, enquanto BF16 permanece sem afetar.

O autor busca confirmação sobre se esses problemas são artefatos conhecidos da quantização de baixo bit para modelos de pensamento ou se ajustes específicos de configuração do vLLM podem resolvê-los.