Un utilisateur porte KVarN sur le runtime Bonsai pour un gain de vitesse de 68 % et moins de 10 Go de VRAM à un contexte de 120K

Un utilisateur a réussi à porter la méthode de quantification du cache KV structurée KVarN dans le runtime Bonsai de PrismML, permettant au modèle Bonsai-Ternary-27B de fonctionner efficacement sur du matériel à mémoire limitée.

• L'implémentation a entraîné une augmentation de 68 % de la vitesse de génération (43 tok/s contre 73 tok/s) et une réduction de l'utilisation de la VRAM de 3,3 Go à un contexte de 120K.
• La consommation totale de VRAM est passée d'environ 13,1 Go à 9,8 Go, permettant au modèle de tenir confortablement en dessous des 10 Go.
• KVarN applique la transformation de Walsh-Hadamard et l'équilibrage de variance de Sinkhorn avant la quantification pour mieux préserver la qualité que les méthodes de quantification uniforme.
• La méthode est considérée comme plus prometteuse pour les cas d'utilisation axés sur la rétention par rapport à TurboQuant, bien qu'elle rompe la compatibilité avec DFlash.

Cette approche permet aux utilisateurs exécutant des modèles denses à de longues longueurs de contexte de les intégrer dans des contraintes de VRAM inférieures sans perte significative de précision.