A Quantização de Largura de Bit Variável aprende a precisão por grupo para modelos de linguagem maiores, mas menores

Pesquisadores introduzem a Quantização de Largura de Bit Variável (VBQ), um método durante o treinamento onde cada grupo contíguo de 64 pesos aprende sua própria resolução de {1,2,4,8} bits via relaxamento Gumbel-Softmax. VBQ descobre uma alocação consistente e fortemente heterogênea dentro dos tipos de projeção individuais, permitindo um regime "maior, mas menor" que melhora a qualidade por byte.

• 69% dos grupos de pesos colapsam para 1 bit, enquanto o primeiro bloco MLP retém ~2.5 bits.
• Um modelo de 131M em 1.82 bits médios supera um modelo FP16 de 55M no TinyStories com 3.8x menos armazenamento.
• VBQ é 3.9-8.4x mais eficiente que FP16 em métricas de qualidade por byte.
• Kernels fundidos personalizados de desquantização e multiplicação aceleram a inferência, alcançando até 4.7x de aceleração com 9B parâmetros no Apple silicon.

VBQ reformula a precisão como um recurso aprendível e não uniforme, demonstrando que gastar um orçamento de bits fixo de forma desigual supera a alocação uniforme.