Voodoo Quant नामक एक नई मिश्रित-सटीकता अनुकूलन तकनीक का उपयोग Qwen3.5 0.8B और 2B मॉडलों पर किया गया है, जो Unsloth Dynamic 2.0 की तुलना में कूलबैक-लेइबलर विचलन (KLD) में 95% की कमी का दावा करता है।
- Voodoo Quant टेंसर के ब्लॉकों के बजाय प्रत्येक टेंसर को व्यक्तिगत रूप से अनुकूलित करता है, सटीकता चयन के लिए एक अलग विधि का उपयोग करते हुए।
- तकनीक Torch और Llama.cpp दोनों ग्राफ़ संरचनाओं में प्रतिस्पर्धी प्रदर्शन दिखाती है, जबकि Unsloth की विधि Torch में काफी खराब प्रदर्शन दिखाती है।
- यह सुझाव देता है कि Unsloth Llama.cpp के लिए ओवरफिट हो सकता है, जबकि Voodoo एक अधिक सामान्यीकृत अनुकूलन दृष्टिकोण प्रदान करता है।
- लेखक ने नोट किया है कि "2 bit" क्वांटीकरण इस तकनीक के लिए इष्टतम सेटिंग प्रतीत होता है।
निर्माता Qwen3.6 27B और DeepSeek v4 flash जैसे बड़े मॉडलों में इस शोध का विस्तार करने का लक्ष्य रखता है ताकि हल्के हार्डवेयर पर उनकी उपयोगिता को बेहतर बनाया जा सके।