Voodoo Quant оптимизирует Qwen3.5 0.8B и 2B с меньшим KLD, чем Unsloth

К новой технике оптимизации смешанной точности под названием Voodoo Quant были применены модели Qwen3.5 0.8B и 2B, заявляющие о сокращении расхождения Кульбака-Лейблера (KLD) на 95% по сравнению с Unsloth Dynamic 2.0.

• Voodoo Quant оптимизирует каждый тензор индивидуально, а не блоки тензоров, используя другую методологию выбора точности.
• Техника демонстрирует конкурентоспособную производительность как в графовых структурах Torch, так и в Llama.cpp, тогда как метод Unsloth показывает значительно худшую производительность в Torch.
• Это предполагает, что Unsloth может переобучаться для Llama.cpp, в то время как Voodoo предлагает более универсальный подход к оптимизации.
• Автор отмечает, что квантование «2 bit» кажется оптимальной настройкой для этой техники.

Создатель стремится расширить это исследование на более крупные модели, такие как Qwen3.6 27B и DeepSeek v4 flash, чтобы улучшить их работу на более легковесном оборудовании.