Uma nova técnica de otimização de precisão mista chamada Voodoo Quant foi aplicada aos modelos Qwen3.5 0.8B e 2B, alegando uma redução de 95% na divergência de Kullback-Leibler (KLD) em comparação ao Unsloth Dynamic 2.0.

  • O Voodoo Quant otimiza cada tensor individualmente, em vez de blocos de tensores, usando uma metodologia diferente para seleção de precisão.
  • A técnica demonstra desempenho competitivo tanto nas estruturas de gráficos do Torch quanto do Llama.cpp, enquanto o método do Unsloth mostra desempenho significativamente pior no Torch.
  • Isso sugere que o Unsloth pode estar superajustado para o Llama.cpp, enquanto o Voodoo oferece uma abordagem de otimização mais generalizada.
  • O autor observa que a quantização de "2 bit" parece ser a configuração ideal para esta técnica.

O criador visa expandir esta pesquisa para modelos maiores como Qwen3.6 27B e DeepSeek v4 flash para melhorar sua utilidade em hardware mais leve.