O artigo apresenta o SMetric, um agendador projetado para abordar as características únicas de carga de trabalho do serviço de LLM para agentes, onde as solicitações originam-se de agentes em vez de humanos. Identifica que os agendadores existentes priorizam demais a reutilização do cache KV, levando a desequilíbrio de carga e tokens por segundo (TPS) limitados.
- Agentes requerem respostas completas, tornando o TPS do cluster o objetivo principal enquanto relaxa os requisitos de latência por token.
- As cargas de trabalho dos agentes exibem alta reutilização do cache KV, excedendo 80% dos tokens da solicitação em rastros de produção comparado a 54-62% em chats.
- O SMetric roteia a primeira solicitação de cada sessão para balanceamento de carga e as solicitações subsequentes de maneira consciente do cache.
- O agendador usa informações de turno da sessão derivadas das entradas do usuário, permanecendo sem estado e eficiente.
O SMetric melhora o TPS do cluster em 10-16% sob co-localização de prefill-decode com um armazenamento global e aumenta o prefill TPS em 2-34% sob desagregação comparado a agendadores state-of-the-art.