文章认为，智能体系统中的模型路由是一个系统优化问题，而非简单的分类任务，由三个关键复杂性驱动：实际成本取决于缓存行为而非仅标价，任务难度在路由时往往不可见，且延迟主要由基础设施状态主导。

  • 在使用 CodeAct 代理的 AppWorld 测试挑战中，Claude Sonnet 总成本为 $79，而 GPT-4.1 成本为 $155，这是因为 Sonnet 更低的缓存读取价格受益于高命中率。
  • 基于难度的标准路由器达到了相似的准确性，但成本高于探索整个权衡空间的基于优化的方法。
  • 作者提出的轻量级路由器（每个任务 6 ms 和 2 kB 内存）实现了 84% 的准确性、$93 的成本和 83s 的延迟的配置，与单独运行 Opus 相比，成本降低了 21%，延迟降低了 9%。

作者得出结论，有效的路由通过同时平衡成本、质量、延迟、合规性和可靠性，为整个系统找到最佳操作点。