Данный обзор рассматривает ресурсоемкость по памяти систем обслуживания больших языковых моделей (LLM), фокусируясь на системно-ориентированной инфраструктуре ключевых и значений (KV) кэша, сокращенно называемой sKis. Он структурирует существующие усилия по трем измерениям: выполнение и планирование (временное), размещение и миграция (пространственное), а также представление и удержание (структурное).
Авторы анализируют перекрестную связь со-дизайна поведения и связи поведение-цель, чтобы выделить будущие возможности в дизайне KV кэша.
Эта работа систематизирует быстро развивающуюся область, предоставляя основу для понимания и инноваций в дизайнах KV кэша в современной инфраструктуре обслуживания LLM.