L'article présente BiSCo-LLM, un framework sans codebook conçu pour la compression de poids de grands modèles de langage (LLM) à très bas débit. Il comble les limites des méthodes existantes en éliminant les codebooks explicites et les recherches d'index tout en maintenant la capacité de représentation.
- Les chunks de poids locaux sont mappés sur une hypersphère unité et binarisés en codes sphériques compacts, utilisant un flux de signes packé par bits comme charge utile principale.
- Une étape BSQ résiduelle encode les erreurs de reconstruction pour fournir un chemin de distorsion de débit explicite sans codebooks stockés.
- La distillation de récupération par catégorie est appliquée après le remplacement des catégories de modules Transformer pour réduire l'inadéquation entre la reconstruction locale des poids et le comportement du modèle.
- Un chemin de canal protégé sur 8 bits stabilise les canaux sensibles et est compté séparément de la charge utile BSQ.
Le framework offre un budget de stockage incluant les codes binaires, les décodeurs neuronaux, les charges utiles des canaux protégés, les adaptateurs LoRA et les métadonnées.