Spiritbuun a ajouté une fonctionnalité de débit binaire variable (VBR) à son fork de llama.cpp, permettant au niveau de quantification du cache KV de se dégrader dynamiquement à mesure que la longueur du contexte augmente. Cela permet aux utilisateurs de définir un plancher de précision minimum tout en ajustant automatiquement les niveaux pour rester dans la VRAM disponible.
- Le VBR déduit un budget VRAM KV à partir de la mémoire restante au démarrage et dégrade les niveaux en temps réel à mesure que le contexte se remplit.
- Les benchmarks sur une RTX 3060 avec Qwen3.6-35B-A3B montrent que le VBR atteint un TTFT presque deux fois plus rapide (93 ms contre 178 ms) et une utilisation de VRAM inférieure (10,2 GiB contre 11 GiB) par rapport au turbo4 fixe.
- Le TPS de décodage n'est que ~4 % plus lent avec le VBR (50,85 contre 52,83), et le budget du contexte s'est automatiquement ajusté à 216k tokens.
Cette fonctionnalité aide les utilisateurs à optimiser l'inférence locale sur une VRAM limitée en fournissant un support de contexte dynamique sans configuration manuelle du codec ou de la longueur du contexte.