Usuário porta KVarN para o runtime Bonsai, obtendo aceleração de 68% e <10GB de VRAM com contexto de 120K

Um usuário portou com sucesso o método de quantização de cache KV estruturado KVarN para o runtime Bonsai da PrismML, permitindo que o modelo Bonsai-Ternary-27B seja executado eficientemente em hardware com memória limitada.

• A implementação resultou em um aumento de 68% na velocidade de geração (73 vs 43 tok/s) e uma redução no uso de VRAM de 3.3GB com contexto de 120K.
• O consumo total de VRAM caiu de aproximadamente 13.1GB para 9.8GB, permitindo que o modelo caiba confortavelmente abaixo de 10GB.
• KVarN aplica a transformação Walsh-Hadamard e o balanceamento de variância Sinkhorn antes da quantização para preservar melhor a qualidade em comparação com métodos de quantização plana.
• O método é considerado mais promissor para casos de uso com alta retenção em comparação ao TurboQuant, embora quebre a compatibilidade com DFlash.

Esta abordagem permite que usuários que executam modelos densos em comprimentos de contexto longos os ajustem a restrições menores de VRAM sem perda significativa de precisão.