본 논문은 SMetric을 소개합니다. 이는 에이전트 기반 LLM 서빙의 고유한 워크로드 특성을 해결하기 위해 설계된 스케줄러입니다. 여기서 요청은 인간이 아닌 에이전트에서 발생합니다.

기존 스케줄러는 KV 캐시 재사용을 지나치게 우선시하여 부하 불균형과 초당 토큰 수(TPS)의 한계를 초래한다는 점을 지적합니다.

  • 에이전트는 완전한 응답을 필요로 하므로 클러스터 TPS가 주요 목표가 되고, 토큰별 지연 시간 요구사항은 완화됩니다.
  • 에이전트 워크로드에서는 KV 캐시 재사용률이 매우 높아, 프로덕션 트레이스에서는 요청 토큰의 80% 이상을 차지하는 반면, 채팅에서는 54~62%에 불과합니다.
  • SMetric은 각 세션의 첫 번째 요청을 부하 분산을 위해 라우팅하고, 이후 요청은 캐시 인지 방식으로 라우팅합니다.
  • 스케줄러는 사용자 입력에서 유도된 세션 턴 정보를 사용하며, 상태less하고 효율적으로 동작합니다.

SMetric은 전역 스토어와 함께 prefill-decode 공존 환경에서 클러스터 TPS를 10~16% 향상시키고, 분리 구성에서는 최신 스케줄러 대비 prefill TPS를 2~34% 증가시킵니다.