Les chercheurs proposent AgentRouter, un classificateur léger qui optimise les workflows agents multi-étapes en acheminant les étapes individuelles des trajectoires vers des niveaux de modèles appropriés plutôt que d'utiliser un seul modèle de pointe pour toutes les tâches. Le système répond à l'inefficacité des systèmes d'entreprise qui gaspillent 60 à 80 % de leur budget d'inférence sur des sous-tâches que des modèles plus petits peuvent traiter aussi bien.

  • AgentRouter utilise un classificateur de 12M paramètres avec moins de 5 ms de surcharge par étape sur un GPU A100 pour mapper les étapes vers quatre niveaux de modèles basés sur cinq caractéristiques extractibles.
  • Entraîné sur 50 000 étapes de trajectoire d'agent annotées, il réduit les coûts de 72 % par rapport aux références uniquement avec des modèles de pointe tout en conservant 97,3 % de la qualité.
  • Le système démontre une précision de routage par étape de 91 % sur les étapes de complexité minimale et de 85 % sur les étapes du niveau efficace.
  • Il surpasse RouteLLM et FrugalGPT, qui atteignent respectivement une réduction des coûts de 31 % et 44 %, en tenant compte des dépendances de qualité au niveau de la trajectoire que les solutions à tour unique manquent.