В статье утверждается, что маршрутизация моделей в агентных системах представляет собой проблему системной оптимизации, а не простую задачу классификации, обусловленную тремя ключевыми сложностями: фактическая стоимость зависит от поведения кэширования, а не только от заявленной цены, сложность задачи часто скрыта на этапе маршрутизации, а задержка определяется состоянием инфраструктуры.

  • На тестовом испытании AppWorld с агентом CodeAct общая стоимость Claude Sonnet составила $79, тогда как GPT-4.1 обошлась в $155 из-за более низкой цены за чтение кэша у Sonnet, что дало преимущество от высоких показателей попадания в кэш.
  • Стандартный маршрутизатор на основе сложности показал схожую точность, но при более высокой стоимости по сравнению с подходом на основе оптимизации, исследующим всё пространство компромиссов.
  • Легковесный маршрутизатор авторов (6 мс и 2 КБ памяти на задачу) достиг конфигурации с точностью 84%, стоимостью $93 и задержкой 83 с, что представляет собой снижение стоимости на 21% и задержки на 9% по сравнению с использованием только Opus.

Авторы приходят к выводу, что эффективная маршрутизация находит наилучшую рабочую точку для всей системы, балансируя одновременно стоимостью, качеством, задержкой, соответствием требованиям и надежностью.