L'article soutient que le routage des modèles dans les systèmes agents est un problème d'optimisation système plutôt qu'une simple tâche de classification, motivé par trois complexités clés : les coûts réels dépendent du comportement de mise en cache plutôt que du prix affiché, la difficulté de la tâche est souvent invisible au moment du routage, et la latence est dominée par l'état de l'infrastructure.

  • Sur le défi de test AppWorld avec un agent CodeAct, Claude Sonnet a coûté 79 $ au total tandis que GPT-4.1 a coûté 155 $ en raison du tarif de lecture en cache inférieur de Sonnet bénéficiant de taux de hit élevés.
  • Un routeur standard basé sur la difficulté a atteint une précision similaire mais à un coût plus élevé par rapport à une approche d'optimisation qui explore l'espace complet des compromis.
  • Le routeur léger des auteurs (6 ms et 2 Ko de mémoire par tâche) a obtenu une configuration avec 84 % de précision, 93 $ de coût et 83 s de latence, représentant une réduction de coût de 21 % et une réduction de latence de 9 % par rapport à l'exécution d'Opus seul.

Les auteurs concluent qu'un routage efficace trouve le meilleur point de fonctionnement pour l'ensemble du système en équilibrant simultanément le coût, la qualité, la latence, la conformité et la fiabilité.