研究人员推出了 Log_bQuant，这是一种新颖的对数量化方法，具有可调整的底数，旨在适应语言模型中常见的参数分布。

该方法解决了先前均匀量化码本中低频高幅值权重导致的次优表示问题。与张量级非对称线性量化相比，它在多个基准测试中以 4 位精度展现出更优越的性能，同时实现了适度的加速和显著的内存节省。

通过降低内存需求并提高推理速度，这种方法使语言模型适合在消费级 GPU 上进行私有使用。