Unsloth는 Qwen3.6 모델에 대한 최적화된 NVFP4 양자화를 출시하여 정확도 저하 없이 NVIDIA의 표준 NVFP4 구현 대비 상당한 속도 개선을 달성했습니다.

  • Qwen3.6 27B은 NVIDIA의 W4A16 방식과 비교하여 W4A4 텐서 코어를 사용하여 2.5배 더 빠르게 실행됩니다.
  • Qwen3.6 35B-A3B는 NVFP4-Fast(1.79배 빠름)와 표준 NVFP4(1.56배 빠름)의 두 가지 변형을 제공합니다.
  • FP8 KV 캐시 보정이 포함되어 컨텍스트 길이를 두 배로 늘릴 수 있습니다.
  • MMLU-Pro, GPQA 및 AIME 2025에 대한 벤치마크는 NVIDIA의 NVFP4, FP8 및 BF16 기준선과 비교하여 동등하거나 우수한 성능을 보여줍니다.

이러한 업데이트를 통해 사용자는 경쟁력 있는 정확도를 유지하면서 더 높은 처리량과 확장된 컨텍스트 창으로 Qwen3.6 모델을 배포할 수 있습니다.