Kuantisasi Lebar Bit Variabel mempelajari presisi per-kelompok untuk model bahasa yang lebih besar namun lebih kecil

Peneliti memperkenalkan Kuantisasi Lebar Bit Variabel (VBQ), sebuah metode saat pelatihan di mana setiap kelompok kontigu dari 64 bobot mempelajari resolusi sendiri dari {1,2,4,8} bit melalui relaksasi Gumbel-Softmax. VBQ menemukan alokasi yang konsisten dan sangat heterogen dalam jenis proyeksi individu, memungkinkan rezim "lebih besar namun lebih kecil" yang meningkatkan kualitas per byte.

• 69% kelompok bobot runtuh ke 1 bit, sementara blok MLP pertama mempertahankan ~2,5 bit.
• Model 131M pada 1,82 bit rata-rata mengalahkan model FP16 55M di TinyStories dengan penyimpanan 3,8x lebih sedikit.
• VBQ 3,9-8,4x lebih efisien daripada FP16 dalam metrik kualitas per byte.
• Kernel kustom yang menggabungkan dekuantisasi dan perkalian mempercepat inferensi, mencapai percepatan hingga 4,7x pada 9 miliar parameter di Apple silicon.

VBQ membingkai ulang presisi sebagai sumber daya yang dapat dipelajari dan tidak seragam, menunjukkan bahwa menghabiskan anggaran bit tetap secara tidak merata mengalahkan alokasi seragam.