Spiritbuun ha añadido una función de Tasa de Bits Variable (VBR) a su fork de llama.cpp, permitiendo que el nivel de cuantización del caché KV degrade dinámicamente a medida que aumenta la longitud del contexto. Esto permite a los usuarios establecer un piso mínimo de precisión mientras ajustan automáticamente los niveles para caber dentro de la VRAM disponible.

  • VBR deriva un presupuesto de VRAM KV de la memoria restante al inicio y degrada los niveles sobre la marcha a medida que se llena el contexto.
  • Las pruebas en una RTX 3060 con Qwen3.6-35B-A3B muestran que VBR logra casi 2 veces más rápido TTFT (93ms vs 178ms) y menor uso de VRAM (10,2 GiB vs 11 GiB) en comparación con turbo4 fijo.
  • El TPS de decodificación es solo ~4% más lento con VBR (50,85 vs 52,83), y el presupuesto de contexto se ajustó automáticamente a 216k tokens.

Esta función ayuda a los usuarios a impulsar la inferencia local en VRAM limitada proporcionando soporte de contexto dinámico sin configuración manual del códec o longitud del contexto.