Fork do llama.cpp da Spiritbuun adiciona cache KV VBR para contexto dinâmico

Spiritbuun adicionou um recurso de Taxa de Bits Variável (VBR) ao seu fork do llama.cpp, permitindo que o nível de quantização do cache KV degrade dinamicamente à medida que o comprimento do contexto aumenta. Isso permite que os usuários definam um piso mínimo de precisão enquanto ajustam automaticamente os níveis para caber dentro da VRAM disponível.

• VBR deriva um orçamento de VRAM KV da memória restante na inicialização e degrada os níveis em tempo real conforme o contexto é preenchido.
• Benchmarks em uma RTX 3060 com Qwen3.6-35B-A3B mostram que VBR alcança quase 2x mais rápido TTFT (93ms vs 178ms) e menor uso de VRAM (10,2 GiB vs 11 GiB) em comparação ao turbo4 fixo.
• O TPS de decodificação é apenas ~4% mais lento com VBR (50,85 vs 52,83), e o orçamento de contexto foi ajustado automaticamente para 216k tokens.

Este recurso ajuda os usuários a impulsionar a inferência local em VRAM limitada, fornecendo suporte de contexto dinâmico sem configuração manual do codec ou comprimento do contexto.