一种名为 Voodoo Quant 的新混合精度优化技术已应用于 Qwen3.5 0.8B 和 2B 模型，声称与 Unsloth Dynamic 2.0 相比，库尔贝克-莱布勒散度 (KLD) 降低了 95%。

  • Voodoo Quant 逐个优化每个张量，而不是张量块，使用不同的精度选择方法。
  • 该技术展示了在 Torch 和 Llama.cpp 图结构上的竞争性性能，而 Unsloth 的方法在 Torch 中表现出明显较差的性能。
  • 这表明 Unsloth 可能针对 Llama.cpp 过拟合，而 Voodoo 提供了一种更通用的优化方法。
  • 作者指出，“2 bit”量化似乎是该技术的最佳设置。

创作者旨在将此研究扩展到更大的模型，如 Qwen3.6 27B 和 DeepSeek v4 flash，以改善其在较轻硬件上的实用性。