L'article présente SMetric, un ordonnanceur conçu pour répondre aux caractéristiques de charge de travail uniques du service LLM par agents, où les requêtes proviennent d'agents plutôt que d'humains. Il identifie que les ordonnanceurs existants privilégient trop la réutilisation du cache KV, entraînant un déséquilibre de charge et un plafond sur le nombre de tokens par seconde (TPS).
- Les agents nécessitent des réponses complètes, faisant du TPS du cluster l'objectif principal tout en assouplissant les exigences de latence par token.
- Les charges de travail des agents présentent une réutilisation élevée du cache KV, dépassant 80 % des tokens de requête dans les traces de production par rapport à 54-62 % dans le chat.
- SMetric route la première requête de chaque session pour l'équilibrage de charge et les requêtes suivantes de manière consciente du cache.
- L'ordonnanceur utilise des informations de tour de session dérivées des entrées utilisateur, restant sans état et efficace.
SMetric améliore le TPS du cluster de 10 à 16 % en co-localisation prefill-décodage avec un magasin global et augmente le TPS de préremplissage de 2 à 34 % en désagrégation par rapport aux ordonnanceurs les plus avancés.