可变位宽量化学习每组的精度，实现更大但更小的语言模型

研究人员引入了可变位宽量化（VBQ），这是一种训练时的方法，其中每个连续的64个权重组通过Gumbel-Softmax松弛从{1,2,4,8}位中学习其自身的分辨率。VBQ在单个投影类型内发现了一致且高度异质的分配，允许实现“更大但更小”的 regime，从而提高每字节的品质。

• 69% 的权重组坍缩为 1 位，而第一个 MLP 块保留约 2.5 位。
• 在 TinyStories 上，平均位数为 1.82 的 131M 模型优于 55M FP16 模型，存储量减少 3.8 倍。
• VBQ 在每字节品质指标上比 FP16 高效 3.9-8.4 倍。
• 自定义融合的反量化和乘法内核加速了推理，在 Apple silicon 上的 9B 参数下实现了高达 4.7 倍的加速。

VBQ 将精度重新定义为一种可学习的、非均匀的资源，证明了不均匀地分配固定的位预算优于均匀分配。