JoLT réalise une compression de cache KV quasi sans perte via une décomposition de Tucker conjointe et une allocation de résidus JL

Les chercheurs présentent JoLT, une méthode pour compresser le cache clé-valeur (KV) dans l'inférence des transformeurs en le traitant comme un tenseur d'ordre trois. L'approche applique une décomposition de Tucker partielle aux axes des tokens et des caractéristiques tout en utilisant des résidus basse résolution rotatifs Johnson-Lindenstrauss pour restaurer l'énergie perdue lors de la troncature.

• Un dual lagrangien unique alloue les rangs de Tucker et les largeurs de bits des résidus par groupe de couches sous un budget d'un octet.
• JoLT atteint une compression de 2 à 3 fois, avec une perplexité, une précision GSM8K et une récupération RULER restant dans le bruit statistique de la ligne de base non compressée sur Mistral-7B-v0.3 et LLaMA-2-13B.
• À une compression de 2x, l'erreur de Frobenius relative est de 0,009 pour les clés et de 0,006 pour les valeurs, soit un ordre de grandeur inférieur à la SVD inter-couches et à la quantification 4 bits.
• Une variante de SVD randomisée nommée FlashJoLT offre un gain de vitesse de temps de compression de 5 à 13 fois à qualité égale.

Cette méthode adresse le coût mémoire dominant de l'inférence des transformeurs en réduisant significativement la taille du cache KV sans dégrader les performances du modèle.