Les chercheurs présentent AgentZip, un système de compression de mémoire conçu spécifiquement pour les bacs à sable d'agents IA à fort fan-out afin de résoudre les goulots d'étranglement mémoire causés par des sessions concurrentes.
- Exploite la redondance relative aux modèles et inter-bacs à sable pour compresser les pages au-delà des correspondances identiques.
- Déplace le contrôle des frais généraux de la sélection conservatrice de pages au moment de la compression vers le préchargement au moment de la restauration.
- Aligne les opérations de compression coûteuses avec les périodes d'attente du LLM pour éviter d'interférer avec l'exécution des outils en premier plan.
- Réduit la mémoire appartenant au bac à sable jusqu'à 8,7 fois, contre 2,1x pour la configuration Linux standard.
- Réduit le ralentissement des performances dû à une compression agressive de 3,1x à 1,40x tout en conservant l'essentiel des économies de mémoire.
AgentZip atténue efficacement la pression mémoire dans les charges de travail d'agents en optimisant quand et comment les données sont compressées sans impacter significativement la vitesse d'exécution.