Исследователи предлагают AgentRouter, лёгкий классификатор, который оптимизирует многошаговые агентные рабочие процессы, направляя отдельные шаги траектории в соответствующие уровни моделей вместо использования передовых моделей для каждой задачи. Система решает проблему неэффективности существующих решений, которые игнорируют различную сложность подзадач внутри одной сессии агента.
- AgentRouter использует модель с 12 млн параметров и накладными расходами менее 5 мс на шаг на GPU A100 для сопоставления шагов четырём уровням на основе пяти признаков.
- Обученная на 50 000 аннотированных шагах по задачам планирования, программирования, исследований и анализа данных, она обеспечивает снижение стоимости на 72%, сохраняя при этом 97,3% качества, достигаемого только передовыми моделями.
- Точность маршрутизации достигает 91% для шагов минимальной сложности и 85% для шагов эффективного уровня, превосходя RouteLLM и FrugalGPT, которые обеспечили лишь снижение стоимости на 31% и 44% соответственно.
Этот подход значительно снижает затраты на вывод в корпоративных агентных системах, признавая, что разные шаги внутри траектории требуют различных уровней возможностей модели.