La Cuantización de Ancho de Bit Variable aprende la precisión por grupo para modelos de lenguaje más grandes pero más pequeños

Los investigadores presentan la Cuantización de Ancho de Bit Variable (VBQ), un método durante el entrenamiento donde cada grupo contiguo de 64 pesos aprende su propia resolución de {1,2,4,8} bits mediante relajación Gumbel-Softmax. VBQ descubre una asignación consistente y fuertemente heterogénea dentro de los tipos de proyección individuales, permitiendo un régimen "más grande pero más pequeño" que mejora la calidad por byte.

• El 69% de los grupos de pesos colapsan a 1 bit, mientras que el primer bloque MLP retiene ~2.5 bits.
• Un modelo de 131M a 1.82 bits medios supera a un modelo FP16 de 55M en TinyStories con 3.8x menos almacenamiento.
• VBQ es 3.9-8.4x más eficiente que FP16 en métricas de calidad por byte.
• Los núcleos fusionados personalizados de desquantización y multiplicación aceleran la inferencia, logrando una aceleración de hasta 4.7x con 9B parámetros en Apple silicon.

VBQ reformula la precisión como un recurso aprendible y no uniforme, demostrando que gastar un presupuesto de bits fijo de manera desigual supera a la asignación uniforme.