Esta encuesta aborda la naturaleza intensiva en memoria de los sistemas de servicio de modelos de lenguaje grande (LLM) al centrarse en la infraestructura de caché de clave-valor (KV) consciente del sistema, abreviada como sKis. Organiza los esfuerzos existentes en tres dimensiones: ejecución y programación (temporal), colocación y migración (espacial), y representación y retención (estructural).
Los autores analizan la afinidad del co-diseño de comportamiento cruzado y los enlaces objetivo-comportamiento para destacar las oportunidades futuras en el diseño de caché KV.
Este trabajo sistematiza el área de rápida evolución, proporcionando una base para comprender e innovar en los diseños de caché KV en la infraestructura de servicio LLM moderna.