Unsloth выпускает квантования NVFP4 для Qwen3.6 в 2,5 раза быстрее с кэшем KV FP8

Unsloth выпустила оптимизированные квантования NVFP4 для моделей Qwen3.6, достигнув значительного ускорения по сравнению со стандартными реализациями NVFP4 от NVIDIA без потери точности.

• Qwen3.6 27B работает в 2,5 раза быстрее с использованием тензорных ядер W4A4 по сравнению с подходом W4A16 от NVIDIA.
• Qwen3.6 35B-A3B предлагает два варианта: NVFP4-Fast (в 1,79 раза быстрее) и стандартный NVFP4 (в 1,56 раза быстрее).
• Включена калибровка кэша KV FP8, что позволяет удвоить длину контекста.
• Бенчмарки на MMLU-Pro, GPQA и AIME 2025 показывают сопоставимую или превосходящую производительность по сравнению с базовыми уровнями NVFP4, FP8 и BF16 от NVIDIA.

Эти обновления позволяют пользователям развертывать модели Qwen3.6 с более высокой пропускной способностью и расширенными окнами контекста при сохранении конкурентоспособной точности.