Unsloth lança quantizações NVFP4 do Qwen3.6 2,5x mais rápidas com Cache KV FP8

A Unsloth lançou quantizações NVFP4 otimizadas para os modelos Qwen3.6, alcançando melhorias significativas de velocidade em relação às implementações padrão NVFP4 da NVIDIA sem degradação de precisão.

• O Qwen3.6 27B roda 2,5x mais rápido usando núcleos tensoriais W4A4 em comparação com a abordagem W4A16 da NVIDIA.
• O Qwen3.6 35B-A3B oferece duas variantes: NVFP4-Fast (1,79x mais rápido) e NVFP4 padrão (1,56x mais rápido).
• A calibração do Cache KV FP8 está incluída, permitindo contextos duas vezes mais longos.
• Os benchmarks no MMLU-Pro, GPQA e AIME 2025 mostram desempenho comparável ou superior em relação às linhas de base NVFP4, FP8 e BF16 da NVIDIA.

Essas atualizações permitem que os usuários implantem modelos Qwen3.6 com maior taxa de transferência e janelas de contexto estendidas, mantendo a precisão competitiva.