El artículo sostiene que el enrutamiento de modelos en sistemas agénticos es un problema de optimización de sistemas más que una tarea de clasificación simple, impulsado por tres complejidades clave: los costos reales dependen del comportamiento de caché en lugar del precio etiquetado, la dificultad de la tarea a menudo es invisible en el momento del enrutamiento y la latencia está dominada por el estado de la infraestructura.

  • En el Desafío de Prueba AppWorld con un agente CodeAct, Claude Sonnet costó $79 en total mientras que GPT-4.1 costó $155 debido al precio más bajo de lectura de caché de Sonnet que se beneficia de altas tasas de acierto.
  • Un enrutador estándar basado en dificultad alcanzó una precisión similar pero con un costo más alto en comparación con un enfoque basado en optimización que explora todo el espacio de compensación.
  • El enrutador ligero de los autores (6 ms y 2 kB de memoria por tarea) logró una configuración con 84% de precisión, $93 de costo y 83s de latencia, lo que representa una reducción del 21% en el costo y una reducción del 9% en la latencia en comparación con ejecutar Opus solo.

Los autores concluyen que un enrutamiento efectivo encuentra el mejor punto de operación para todo el sistema equilibrando simultáneamente el costo, la calidad, la latencia, el cumplimiento y la confiabilidad.