Cette enquête traite de la nature intensive en mémoire des systèmes de service de grands modèles de langage (LLM) en se concentrant sur l'infrastructure de cache clé-valeur (KV) sensible au système, abrégée en sKis. Elle organise les efforts existants selon trois dimensions : exécution et ordonnancement (temporel), placement et migration (spatial), et représentation et rétention (structurel).
Les auteurs analysent l'affinité de la co-conception inter-comportement et les liens comportement-objectif pour mettre en évidence les opportunités futures dans la conception du cache KV.
Ce travail systématise le domaine en rapide évolution, fournissant une base pour comprendre et innover dans les conceptions de cache KV au sein des infrastructures modernes de service LLM.