Les chercheurs proposent AgentRouter, un classificateur léger qui optimise les workflows agents multi-étapes en acheminant les étapes individuelles de la trajectoire vers des niveaux de modèles appropriés plutôt que d'utiliser des modèles de pointe pour chaque tâche. Le système répond à l'inefficacité des solutions existantes qui ignorent la complexité variable des sous-tâches au sein d'une seule session agent.
- AgentRouter utilise un modèle de 12M paramètres avec moins de 5 ms de surcharge par étape sur un GPU A100 pour mapper les étapes vers quatre niveaux basés sur cinq caractéristiques.
- Entraîné sur 50 000 étapes annotées couvrant la planification, le codage, la recherche et l'analyse de données, il permet une réduction des coûts de 72 % tout en conservant 97,3 % de la qualité obtenue avec les seuls modèles de pointe.
- La précision du routage atteint 91 % sur les étapes de complexité minimale et 85 % sur les étapes du niveau efficace, surpassant RouteLLM et FrugalGPT qui n'ont obtenu que des réductions de coûts respectives de 31 % et 44 %.
Cette approche réduit considérablement les coûts d'inférence pour les systèmes agents d'entreprise en reconnaissant que différentes étapes au sein d'une trajectoire nécessitent différents niveaux de capacité du modèle.