La quantisation à largeur de bits variable apprend la précision par groupe pour des modèles linguistiques plus grands mais plus petits

Les chercheurs introduisent la Quantisation à largeur de bits variable (VBQ), une méthode d'entraînement où chaque groupe contigu de 64 poids apprend sa propre résolution parmi {1,2,4,8} bits via une relaxation Gumbel-Softmax. VBQ découvre une allocation cohérente et fortement hétérogène au sein des types de projection individuels, permettant un régime "plus grand mais plus petit" qui améliore la qualité par octet.

• 69 % des groupes de poids convergent vers 1 bit, tandis que le premier bloc MLP conserve environ 2,5 bits.
• Un modèle de 131M à 1,82 bits en moyenne bat un modèle FP16 de 55M sur TinyStories avec 3,8 fois moins de stockage.
• VBQ est 3,9 à 8,4 fois plus efficace que le FP16 selon les métriques de qualité par octet.
• Des noyaux fusionnés personnalisés de déquantisation et de multiplication accélèrent l'inférence, atteignant jusqu'à une accélération de 4,7x pour 9 milliards de paramètres sur Apple silicon.

VBQ reformule la précision comme une ressource apprenable et non uniforme, démontrant qu'une dépense inégale d'un budget bits fixe bat une allocation uniforme.