يقدم الباحثون الكمية المتغيرة لعرض البت (VBQ)، وهي طريقة أثناء التدريب حيث يتعلم كل مجموعة متجاورة من 64 وزناً دقتها الخاصة من {1,2,4,8} بتات عبر استرخاء Gumbel-Softmax. يكتشف VBQ تخصيصاً متسقاً وشديد التباين داخل أنواع الإسقاط الفردية، مما يسمح بوضع "أكبر ولكن أصغر" يحسّن الجودة لكل بايت.
- ينهار 69% من مجموعات الأوزان إلى بت واحد، بينما يحتفظ كتلة MLP الأولى بنحو 2.5 بت.
- يتفوق نموذج بحجم 131M عند متوسط 1.82 بت على نموذج FP16 بحجم 55M في TinyStories مع تخزين أقل بنسبة 3.8 مرات.
- VBQ أكثر كفاءة بمقدار 3.9 إلى 8.4 مرات من FP16 في مقاييس الجودة لكل بايت.
- تسرع نوى مخصصة لدمج فك التكميم والضرب الاستنتاج، محققة تسريعاً يصل إلى 4.7 مرات عند 9 مليارات معلمة على Apple silicon.
يعيد VBQ صياغة الدقة كمورد قابل للتعلم وغير موحد، مما يثبت أن إنفاق ميزانية بت ثابتة بشكل غير متساوٍ يتفوق على التوزيع الموحد.