В статье представлен SMetric — планировщик, разработанный для решения уникальных характеристик рабочей нагрузки при обслуживании агентов LLM, где запросы исходят от агентов, а не от людей. Выявлено, что существующие планировщики слишком сильно приоритизируют повторное использование KV кэша, что приводит к дисбалансу нагрузки и ограничению количества токенов в секунду (TPS).
- Агентам требуются полные ответы, поэтому основная цель — TPS кластера, при этом требования к задержке на токен смягчаются.
- Рабочие нагрузки агентов демонстрируют высокое повторное использование KV кэша, превышающее 80% токенов запроса в производственных трэйсах по сравнению с 54–62% в чатах.
- SMetric маршрутизирует первый запрос каждой сессии для балансировки нагрузки, а последующие запросы — с учётом кэша.
- Планировщик использует информацию о ходах сессии, полученную из пользовательских входных данных, оставаясь без состояния и эффективным.
SMetric увеличивает TPS кластера на 10–16% при совместном размещении префилла и декодирования с глобальным хранилищем и повышает префилл TPS на 2–34% при разделении по сравнению с планировщиками уровня state-of-the-art.