一名用户成功将 KVarN 结构化 KV 缓存量化方法移植到 PrismML 的 Bonsai 运行时中，使 Bonsai-Ternary-27B 模型能够在内存有限的硬件上高效运行。

  • 该实现使生成速度提高了 68%（从 43 tok/s 提升至 73 tok/s），并在 120K 上下文下将 VRAM 使用量减少了 3.3GB。
  • VRAM 总消耗量从约 13.1GB 降至 9.8GB，使模型能够舒适地运行在 10GB 以下。
  • KVarN 在量化前应用沃尔什-哈达玛变换和 Sinkhorn 方差平衡，相比平面量化方法能更好地保留质量。
  • 与 TurboQuant 相比，该方法被认为在需要高上下文保持能力的场景中更有前景，但它破坏了 DFlash 的兼容性。

这种方法允许用户在长上下文长度下运行密集模型时，将其适配到较低的 VRAM 限制中，而不会造成显著的精度损失。