Voodoo Quant optimise Qwen3.5 0.8B et 2B avec une KLD inférieure à celle d'Unsloth

Une nouvelle technique d'optimisation en précision mixte appelée Voodoo Quant a été appliquée aux modèles Qwen3.5 0.8B et 2B, affirmant une réduction de 95 % de la divergence de Kullback-Leibler (KLD) par rapport à Unsloth Dynamic 2.0.

• Voodoo Quant optimise chaque tenseur individuellement plutôt que des blocs de tenseurs, en utilisant une méthodologie différente pour la sélection de la précision.
• La technique démontre des performances compétitives sur les deux structures de graphes Torch et Llama.cpp, tandis que la méthode d'Unsloth affiche des performances nettement inférieures dans Torch.
• Cela suggère qu'Unsloth pourrait être surajusté pour Llama.cpp, tandis que Voodoo offre une approche d'optimisation plus généralisée.
• L'auteur note que la quantification "2 bits" semble être le paramètre optimal pour cette technique.

Le créateur vise à étendre cette recherche à des modèles plus grands comme Qwen3.6 27B et DeepSeek v4 flash afin d'améliorer leur utilité sur du matériel léger.