研究者らは、Variable Bit-width Quantization (VBQ) を導入した。これはトレーニング時の手法であり、連続する64個の重みごとに、Gumbel-Softmax緩和を用いて {1,2,4,8} ビットから独自の解像度を学習する。VBQ は個別の射影タイプ内で一貫性があり強く不均質な割り当てを発見し、「より大規模だが軽量な」レジームを実現して、バイトあたりの品質を向上させる。

  • 重みグループの69%が1ビットに収束し、最初のMLPブロックは約2.5ビットを保持する。
  • 平均1.82ビットの131Mモデルは、TinyStoriesにおいて55M FP16モデルを上回り、ストレージは3.8倍少ない。
  • VBQ はバイトあたりの品質指標でFP16より3.9〜8.4倍効率的である。
  • カスタム融合脱量子化・乗算カーネルが推論を加速し、Apple silicon上で9Bパラメータにおいて最大4.7倍の高速化を実現する。

VBQ は精度を学習可能で不均質なリソースとして再定義し、固定ビット予算を不均等に配分することが均等割り当てよりも優れていることを実証した。