Un usuario porta KVarN al entorno de ejecución Bonsai para una aceleración del 68% y <10GB de VRAM con contexto de 120K

Un usuario portó con éxito el método de cuantización de caché KV estructurado KVarN al entorno de ejecución Bonsai de PrismML, permitiendo que el modelo Bonsai-Ternary-27B se ejecute eficientemente en hardware con memoria limitada.

• La implementación resultó en un aumento del 68% en la velocidad de generación (73 vs 43 tok/s) y una reducción del uso de VRAM en 3.3GB con contexto de 120K.
• El consumo total de VRAM disminuyó de aproximadamente 13.1GB a 9.8GB, permitiendo que el modelo se ajuste cómodamente por debajo de 10GB.
• KVarN aplica la transformación Walsh-Hadamard y el balanceo de varianza Sinkhorn antes de la cuantización para preservar mejor la calidad en comparación con los métodos de cuantización plana.
• El método se considera más prometedor para casos de uso con retención pesada en comparación con TurboQuant, aunque rompe la compatibilidad con DFlash.

Este enfoque permite a los usuarios que ejecutan modelos densos a longitudes de contexto largas ajustarlos a restricciones de VRAM más bajas sin una pérdida significativa de precisión.