本論文では、SMetricを紹介する。これは、エージェントによるLLMサービングにおけるユニークなワークロード特性に対応するために設計されたスケジューラである。ここでリクエストは人間ではなくエージェントから発生する。

既存のスケジューラはKVキャッシュの再利用を過度に優先しており、その結果、負荷の偏りと秒あたりのトークン数（TPS）の上限が生じていることが指摘されている。

  • エージェントは完全な応答を必要とするため、クラスター全体のTPSが主要な目標となり、トークンごとのレイテンシ要件は緩和される。
  • エージェントのワークロードではKVキャッシュの再利用率が高く、プロダクション環境でのトレースにおいてリクエストトークンの80%超に達するのに対し、チャットでは54〜62%である。
  • SMetricは各セッションの最初の要求を負荷分散のためにルーティングし、その後の要求はキャッシュを考慮した方法でルーティングする。
  • スケジューラはユーザー入力から導出されたセッションターン情報を使用し、ステートレスかつ効率的に動作する。

SMetricは、グローバルストアとのprefill-decode共存環境においてクラスターTPSを10〜16%向上させ、分離構成では最先端のスケジューラと比較してprefill TPSを2〜34%増加させる。