RaBitQCache est un nouveau cadre d'attention clairsemée conçu pour résoudre les goulots d'étranglement mémoire et computationnel du cache Key-Value (KV) dans l'inférence des grands modèles de langage à long contexte. Il utilise une quantification binaire rotée aléatoire et une arithmétique binaire-INT4 à haut débit pour estimer efficacement les poids d'attention.
- La méthode emploie un score proxy sans biais avec une borne d'erreur prouvée pour permettre la récupération adaptative Top-p, ajustant dynamiquement le budget de tokens en fonction de la clairsemé réelle de l'attention.
- Une implémentation système consciente du matériel intègre le pipelining asynchrone et les mises à jour différées pour masquer la surcharge computationnelle.
- Les évaluations démontrent que RaBitQCache accélère significativement l'inférence et réduit les E/S mémoire tout en préservant la qualité de génération par rapport aux références de pointe.
L'approche offre une alternative plus efficace à la récupération à budget fixe statique ou aux scores proxy coûteux en calcul, améliorant les performances sans sacrifier la qualité de sortie.