本综述通过聚焦于系统感知的键值(KV)缓存基础设施(缩写为sKis),解决了大型语言模型(LLM)服务系统的内存密集型特性。它将现有工作归纳为三个维度:执行与调度(时间维度)、放置与迁移(空间维度)以及表示与保留(结构维度)。

作者分析了跨行为协同设计的亲和性以及行为-目标关联,以突显KV缓存设计中的未来机遇。

这项工作系统化了这个快速发展的领域,为理解现代LLM服务基础设施中的KV缓存设计创新奠定了基础。