본 조사는 대규모 언어 모델(LLM) 서빙 시스템의 메모리 집약적 특성을 다루기 위해 시스템 인식 키-값(KV) 캐시 인프라에 초점을 맞춥니다. 이는 sKis로 약칭됩니다. 기존 노력을 세 가지 차원으로 조직합니다: 실행 및 스케줄링(시간적), 배치 및 마이그레이션(공간적), 표현 및 유지(구조적).
저자들은 교차 행동 공동 설계 친화성과 행동-목적 간 연결을 분석하여 KV 캐시 설계의 미래 기회를 강조합니다.
이 작업은 빠르게 진화하는 분야를 체계화하여 현대 LLM 서빙 인프라에서 KV 캐시 설계를 이해하고 혁신하기 위한 기반을 제공합니다.