O artigo argumenta que o roteamento de modelos em sistemas agênticos é um problema de otimização de sistemas em vez de uma tarefa simples de classificação, impulsionado por três complexidades-chave: os custos reais dependem do comportamento de cache em vez do preço de etiqueta, a dificuldade da tarefa muitas vezes é invisível no momento do roteamento e a latência é dominada pelo estado da infraestrutura.

  • No Desafio de Teste AppWorld com um agente CodeAct, o Claude Sonnet custou $79 no total enquanto o GPT-4.1 custou $155 devido ao preço mais baixo de leitura de cache do Sonnet beneficiando-se de altas taxas de acerto.
  • Um roteador padrão baseado em dificuldade atingiu precisão semelhante mas com custo mais alto comparado a uma abordagem baseada em otimização que explora todo o espaço de compensação.
  • O roteador leve dos autores (6 ms e 2 kB de memória por tarefa) alcançou uma configuração com 84% de precisão, $93 de custo e 83s de latência, representando uma redução de 21% no custo e uma redução de 9% na latência comparado a executar apenas o Opus.

Os autores concluem que um roteamento eficaz encontra o melhor ponto de operação para todo o sistema equilibrando simultaneamente custo, qualidade, latência, conformidade e confiabilidade.