Unsloth merilis kuantisasi NVFP4 Qwen3.6 yang 2,5x lebih cepat dengan Cache KV FP8

Unsloth telah merilis kuantisasi NVFP4 yang dioptimalkan untuk model Qwen3.6, mencapai peningkatan kecepatan yang signifikan dibandingkan implementasi NVFP4 standar NVIDIA tanpa degradasi akurasi.

• Qwen3.6 27B berjalan 2,5x lebih cepat menggunakan inti tensor W4A4 dibandingkan pendekatan W4A16 NVIDIA.
• Qwen3.6 35B-A3B menawarkan dua varian: NVFP4-Fast (1,79x lebih cepat) dan NVFP4 standar (1,56x lebih cepat).
• Kalibrasi Cache KV FP8 disertakan, memungkinkan konteks dua kali lebih panjang.
• Benchmark pada MMLU-Pro, GPQA, dan AIME 2025 menunjukkan kinerja yang sebanding atau lebih unggul dibandingkan baseline NVIDIA NVFP4, FP8, dan BF16.

Pembaruan ini memungkinkan pengguna untuk menerapkan model Qwen3.6 dengan throughput yang lebih tinggi dan jendela konteks yang diperpanjang sambil mempertahankan akurasi yang kompetitif.