本文介绍了 SMetric，这是一种旨在解决代理式 LLM 服务中独特工作负载特征的调度器，其中请求来自代理而非人类。研究指出，现有调度器过度优先 KV 缓存复用，导致负载不均衡和每秒令牌数（TPS）受限。

  • 代理需要完整的响应，因此集群 TPS 成为主要目标，同时放宽了单令牌延迟要求。
  • 代理工作负载表现出高 KV 缓存复用率，在生产追踪中超过请求令牌的 80%，而聊天场景中为 54-62%。
  • SMetric 对每个会话的第一个请求进行负载均衡路由，并以感知缓存的方式处理后续请求。
  • 该调度器使用源自用户输入的会话轮次信息，保持无状态且高效。

与最先进的调度器相比，SMetric 在全局存储下的预填充-解码共置场景中使集群 TPS 提高了 10-16%，在解耦场景下使预填充 TPS 提高了 2-34%。