Voodoo Quant optimiza Qwen3.5 0.8B y 2B con menor KLD que Unsloth

Se ha aplicado una nueva técnica de optimización de precisión mixta llamada Voodoo Quant a los modelos Qwen3.5 0.8B y 2B, afirmando una reducción del 95% en la divergencia de Kullback-Leibler (KLD) en comparación con Unsloth Dynamic 2.0.

• Voodoo Quant optimiza cada tensor individualmente en lugar de bloques de tensores, utilizando una metodología diferente para la selección de precisión.
• La técnica demuestra un rendimiento competitivo tanto en las estructuras de gráficos de Torch como de Llama.cpp, mientras que el método de Unsloth muestra un rendimiento significativamente peor en Torch.
• Esto sugiere que Unsloth puede estar sobreajustándose para Llama.cpp, mientras que Voodoo ofrece un enfoque de optimización más generalizado.
• El autor señala que la cuantización de "2 bit" parece ser la configuración óptima para esta técnica.

El creador tiene como objetivo expandir esta investigación a modelos más grandes como Qwen3.6 27B y DeepSeek v4 flash para mejorar su utilidad en hardware más ligero.