Voodoo Quant이라는 새로운 혼합 정밀도 최적화 기법이 Qwen3.5 0.8B 및 2B 모델에 적용되었으며, Unsloth Dynamic 2.0 대비 Kullback-Leibler divergence (KLD)를 95% 감소시켰다고 주장합니다.

  • Voodoo Quant은 텐서 블록이 아닌 개별 텐서를 최적화하며, 정밀도 선택을 위해 다른 방법론을 사용합니다.
  • 이 기법은 Torch와 Llama.cpp 그래프 구조 모두에서 경쟁력 있는 성능을 보여주지만, Unsloth의 방법은 Torch에서 현저히 낮은 성능을 보입니다.
  • 이는 Unsloth가 Llama.cpp에 과적합되었을 가능성을 시사하며, Voodoo는 더 일반적인 최적화 접근 방식을 제공함을 나타냅니다.
  • 작성자는 "2비트" 양자화가 이 기법에 가장 적합한 설정이라고 언급했습니다.

개발자는 이 연구를 Qwen3.6 27B 및 DeepSeek v4 flash와 같은 대규모 모델로 확장하여 경량 하드웨어에서의 유용성을 향상시키는 것을 목표로 하고 있습니다.