本文介绍了 A.L.F.R.E.D.，一种名为 Adaptive Local-First Routing and Execution Distillation（自适应本地优先路由与执行蒸馏）的方法，旨在通过将更简单的任务路由到较小的模型来降低计算成本。

  • 该系统捕获由大型模型处理的成功查询的模式，并将其存储在数据库中。
  • 当出现类似的请求时，系统使用存储的模式将请求路由到2B模型，而不是调用大型模型。
  • 对于简单任务，此方法将令牌使用量从约7k减少到~1k，在保持验证的同时使速度成本降低约4倍。

这种方法允许系统将需要推理的任务委托给大型模型，同时使用更小、更快的模型处理重复性或模式化的请求。