Исследователи предлагают AgentRouter — лёгкий классификатор, оптимизирующий многошаговые агентные рабочие процессы путём маршрутизации отдельных шагов траектории к соответствующим уровням моделей вместо использования одной передовой модели для всех задач. Система устраняет неэффективность корпоративных систем, которые тратят 60–80 % своего бюджета на вывод на подзадачи, с которыми меньшие модели справляются столь же хорошо.

  • AgentRouter использует классификатор из 12 млн параметров с накладными расходами менее 5 мс на шаг на GPU A100 для сопоставления шагов четырём уровням моделей на основе пяти извлекаемых признаков.
  • Обученный на 50 000 размеченных шагов траектории агента, он обеспечивает снижение стоимости на 72 % по сравнению с базовыми вариантами, использующими только передовые модели, сохраняя при этом 97,3 % качества.
  • Система демонстрирует точность маршрутизации на уровне шага 91 % для шагов минимальной сложности и 85 % для шагов эффективного уровня.
  • Он превосходит RouteLLM и FrugalGPT, которые обеспечивают снижение стоимости лишь на 31 % и 44 % соответственно, за счёт учёта зависимостей качества на уровне траектории, которые упускают решения однократного взаимодействия.