Spiritbuun在其llama.cpp分支中添加了可变比特率（VBR）功能，允许KV缓存量化等级随着上下文长度的增加而动态降级。这使用户能够设置最低精度下限，同时自动调整等级以适配可用显存。

  • VBR在启动时从剩余内存中推导KV显存预算，并在上下文填充时动态降级等级。
  • 在配备Qwen3.6-35B-A3B的RTX 3060上的基准测试显示，与固定turbo4相比，VBR实现了近2倍的更快TTFT（93毫秒对比178毫秒）和更低的显存使用量（10.2 GiB对比11 GiB）。
  • VBR的解码TPS仅慢约4%（50.85对比52.83），上下文预算自动适配为216k个token。

该功能通过提供动态上下文支持而无需手动配置编解码器或上下文长度，帮助用户在有限显存下运行本地推理。