शोधकर्ता वेरिएबल बिट-विड्थ क्वांटीज़ेशन (VBQ) पेश करते हैं, एक प्रशिक्षण-समय विधि जहाँ 64 वजन की प्रत्येक सन्निहित समूह Gumbel-Softmax रिलैक्सेशन के माध्यम से {1,2,4,8} बिट से अपनी स्वयं की रिज़ॉल्यूशन सीखता है। VBQ व्यक्तिगत प्रक्षेपण प्रकारों के भीतर एक सुसंगत, मजबूती से विषम आवंटन खोजता है, जो "बड़ा-लेकिन-छोटा" शासन को संभव बनाता है जो प्रति बाइट गुणवत्ता को बेहतर बनाता है।
- वजन समूहों का 69% 1 बिट पर सिकुड़ जाता है, जबकि पहला MLP ब्लॉक ~2.5 बिट रखता है।
- TinyStories पर 131M मॉडल 1.82 माध्य बिट पर 55M FP16 मॉडल को 3.8x कम भंडारण के साथ हराता है।
- प्रति बाइट गुणवत्ता मानकों में VBQ, FP16 से 3.9-8.4x अधिक कुशल है।
- कस्टम फ्यूज्ड डीक्वांटीज़ और मल्टीप्लाई kernels अनुमानन को त्वरित करते हैं, Apple silicon पर 9B पैरामीटर के साथ 4.7x तक गति प्राप्त करते हैं।
VBQ परिशुद्धता को एक सीखने योग्य, असमान संसाधन के रूप में फिर से परिभाषित करता है, यह प्रदर्शित करता है कि एक निश्चित बिट बजट को असमान रूप से खर्च करना समान आवंटन से बेहतर है।