本調査は、大規模言語モデル(LLM)サービングシステムのメモリ集約的な性質に対処するため、システム対応キーバリュー(KV)キャッシュインフラストラクチャに焦点を当てています。これはsKisと略称されます。既存の取り組みを3つの次元に整理しています:実行とスケジューリング(時間的)、配置と移行(空間的)、表現と保持(構造的)。

著者は、クロスビヘイビア協調設計の親和性と行動-目的の関連性を分析し、KVキャッシュ設計における将来の機会を浮き彫りにしています。

この研究は急速に進化している分野を体系化し、現代のLLMサービングインフラストラクチャにおけるKVキャッシュ設計の理解と革新のための基盤を提供します。