पेपर में SMetric का परिचय दिया गया है, जो एजेंटिक LLM सर्विंग की अद्वितीय वर्कलोड विशेषताओं को संबोधित करने के लिए डिज़ाइन किया गया एक शेड्यूलर है, जहां अनुरोध मानवों के बजाय एजेंट्स से आते हैं। यह पहचानता है कि मौजूदा शेड्यूलर्स KV कैश रीयूज़ को बहुत अधिक प्राथमिकता देते हैं, जिससे लोड असंतुलन और प्रति सेकंड टोकन (TPS) सीमित हो जाता है।
- एजेंट्स को पूर्ण प्रतिक्रियाओं की आवश्यकता होती है, जिससे क्लस्टर TPS प्राथमिक लक्ष्य बन जाता है जबकि प्रति-टोकन लेटेंसी की आवश्यकताओं को ढील दिया जाता है।
- एजेंट वर्कलोड्स उच्च KV कैश रीयूज़ प्रदर्शित करते हैं, जो उत्पादन ट्रेस में अनुरोध टोकन के 80% से अधिक होते हैं, जबकि चैट में यह 54-62% होता है।
- SMetric लोड बैलेंसिंग के लिए प्रत्येक सत्र का पहला अनुरोध रूट करता है और कैश-अवेयर तरीके से बाद के अनुरोधों को रूट करता है।
- शेड्यूलर उपयोगकर्ता इनपुट से व्युत्पन्न सत्र टर्न जानकारी का उपयोग करता है, जो स्थितिहीन और कुशल बना हुआ है।
SMetric ग्लोबल स्टोर के साथ प्रीफिल-डीकोड कोलोकेशन के तहत क्लस्टर TPS को 10-16% से बढ़ाता है और disaggregation के तहत prefill TPS को state-of-the-art शेड्यूलर्स की तुलना में 2-34% से बढ़ाता है।