Esta pesquisa aborda a natureza intensiva em memória dos sistemas de serviço de modelos de linguagem grande (LLM) ao focar na infraestrutura de cache de chave-valor (KV) consciente do sistema, abreviada como sKis. Ela organiza os esforços existentes em três dimensões: execução e agendamento (temporal), colocação e migração (espacial), e representação e retenção (estrutural).
Os autores analisam a afinidade de co-design de comportamento cruzado e as ligações objetivo-comportamento para destacar oportunidades futuras no design de cache KV.
Este trabalho sistematiza a área em rápida evolução, fornecendo uma base para entender e inovar nos designs de cache KV na infraestrutura de serviço LLM moderna.