Voodoo Quantという新しい混合精度最適化手法がQwen3.5 0.8Bおよび2Bモデルに適用され、Unsloth Dynamic 2.0と比較してカルバック・ライブラ divergence（KLD）を95%削減したと主張している。

  • Voodoo Quantはテンソルのブロックではなく、各テンソルを個別に最適化し、精度選択に異なる手法を使用する。
  • この手法はTorchおよびLlama.cppのグラフ構造の両方で競争力のあるパフォーマンスを示す一方、Unslothの手法はTorchで著しく低いパフォーマンスを示す。
  • これはUnslothがLlama.cppに対して過学習している可能性を示唆し、Voodooはより汎用的な最適化アプローチを提供することを示している。
  • 作者は「2ビット」量子化がこの手法にとって最適な設定であると述べている。

作成者は、この研究をQwen3.6 27BやDeepSeek v4 flashなどの大規模モデルに拡張し、軽量ハードウェアでの利便性を向上させることを目指している。