El artículo presenta SMetric, un programador diseñado para abordar las características únicas de carga de trabajo del servicio de LLM para agentes, donde las solicitudes provienen de agentes en lugar de humanos. Identifica que los programadores existentes priorizan demasiado la reutilización de la caché KV, lo que lleva a un desequilibrio de carga y tokens por segundo (TPS) limitados.
- Los agentes requieren respuestas completas, convirtiendo el TPS del clúster en el objetivo principal mientras se relajan los requisitos de latencia por token.
- Las cargas de trabajo de los agentes exhiben una alta reutilización de la caché KV, superando el 80% de los tokens de solicitud en trazas de producción en comparación con el 54-62% en chats.
- SMetric enruta la primera solicitud de cada sesión para el equilibrio de carga y las solicitudes subsiguientes de manera consciente de la caché.
- El programador utiliza información del turno de la sesión derivada de las entradas del usuario, permaneciendo sin estado y eficiente.
SMetric mejora el TPS del clúster en un 10-16% bajo la colocación conjunta de prefill-decode con una tienda global y aumenta el prefill TPS en un 2-34% bajo la desagregación en comparación con los programadores state-of-the-art.