यह सर्वेक्षण बड़े भाषा मॉडल (LLM) सेवा प्रणालियों की मेमोरी-गहन प्रकृति को sKis के रूप में संक्षिप्त किया गया सिस्टम-अवेयर कुंजी-मान्यता (KV) कैश बुनियादी ढांचे पर ध्यान केंद्रित करके संबोधित करता है। यह मौजूदा प्रयासों को तीन आयामों में व्यवस्थित करता है: निष्पादन और शेड्यूलिंग (कालिक), प्लेसमेंट और माइग्रेशन (आवकाशिक), और प्रतिनिधित्व और धारण (संरचनात्मक)।
लेखक KV कैश डिज़ाइन में भविष्य के अवसरों को उजागर करने के लिए क्रॉस-व्यवहार सह-डिज़ाइन अफिनिटी और व्यवहार-उद्देश्य लिंक का विश्लेषण करते हैं।
यह कार्य तेजी से विकसित होते क्षेत्र को व्यवस्थित करता है, आधुनिक LLM सेवा बुनियादी ढांचे में KV कैश डिज़ाइन को समझने और नवाचार के लिए एक आधार प्रदान करता है।