Voodoo Quant mengoptimalkan Qwen3.5 0.8B dan 2B dengan KLD lebih rendah daripada Unsloth

Sebuah teknik optimasi presisi campuran baru yang disebut Voodoo Quant telah diterapkan pada model Qwen3.5 0.8B dan 2B, mengklaim pengurangan divergensi Kullback-Leibler (KLD) sebesar 95% dibandingkan dengan Unsloth Dynamic 2.0.

• Voodoo Quant mengoptimalkan setiap tensor secara individual daripada blok tensor, menggunakan metodologi yang berbeda untuk pemilihan presisi.
• Teknik ini menunjukkan kinerja yang kompetitif di kedua struktur grafik Torch dan Llama.cpp, sedangkan metode Unsloth menunjukkan kinerja yang jauh lebih buruk di Torch.
• Ini menunjukkan bahwa Unsloth mungkin overfit untuk Llama.cpp, sementara Voodoo menawarkan pendekatan optimasi yang lebih umum.
• Penulis mencatat bahwa kuantisasi "2 bit" tampaknya menjadi pengaturan optimal untuk teknik ini.

Pencipta bertujuan untuk memperluas penelitian ini ke model yang lebih besar seperti Qwen3.6 27B dan DeepSeek v4 flash untuk meningkatkan utilitasnya pada perangkat keras yang lebih ringan.