Unsloth libère des quantifications NVFP4 pour Qwen3.6 2,5x plus rapides avec cache KV FP8

Unsloth a publié des quantifications NVFP4 optimisées pour les modèles Qwen3.6, atteignant des améliorations de vitesse significatives par rapport aux implémentations NVFP4 standard de NVIDIA sans dégradation de la précision.

• Qwen3.6 27B s'exécute 2,5x plus rapidement en utilisant les cœurs tensoriels W4A4 par rapport à l'approche W4A16 de NVIDIA.
• Qwen3.6 35B-A3B offre deux variantes : NVFP4-Fast (1,79x plus rapide) et NVFP4 standard (1,56x plus rapide).
• La calibration du cache KV FP8 est incluse, permettant des contextes deux fois plus longs.
• Les benchmarks sur MMLU-Pro, GPQA et AIME 2025 montrent des performances comparables ou supérieures aux références NVIDIA NVFP4, FP8 et BF16.

Ces mises à jour permettent aux utilisateurs de déployer les modèles Qwen3.6 avec un débit plus élevé et des fenêtres de contexte étendues tout en maintenant une précision compétitive.