研究人员提出了AgentRouter，这是一种轻量级分类器，通过将各个轨迹步骤路由到合适的模型层级，而不是对所有任务使用单一的前沿模型，从而优化多步智能体工作流。该系统解决了企业系统的低效问题，这些系统浪费了60-80%的推理预算在较小模型同样能胜任的子任务上。

  • AgentRouter使用一个拥有12M参数的分类器，在A100 GPU上每个步骤的开销不到5ms，基于五个可提取的特征将步骤映射到四个模型层级。
  • 在50,000个标注的智能体轨迹步骤上进行训练后，其成本相比仅使用前沿模型的基线降低了72%，同时保留了97.3%的质量。
  • 该系统在最小复杂度步骤上的单步路由准确率达到91%，在高效层级步骤上达到85%。
  • 它优于RouteLLM和FrugalGPT（这两者分别仅实现31%和44%的成本降低），因为它考虑了单轮解决方案所忽略的轨迹级质量依赖关系。