O artigo apresenta o A.L.F.R.E.D., uma abordagem chamada Adaptive Local-First Routing and Execution Distillation, que visa reduzir custos de computação roteando tarefas mais simples para modelos menores.
- O sistema captura padrões de consultas bem-sucedidas tratadas por modelos grandes e os armazena em um banco de dados.
- Quando surgem solicitações semelhantes, o sistema as roteia para um modelo de 2B usando o padrão armazenado, em vez de invocar o modelo grande.
- Este método reduz o uso de tokens de aproximadamente 7k para ~1k para tarefas simples, resultando em uma redução de custo de velocidade de cerca de 4x enquanto mantém a validação.
Esta abordagem permite que os sistemas deleguem tarefas pesadas em raciocínio a modelos grandes, enquanto lidam com solicitações repetitivas ou padronizadas com modelos menores e mais rápidos.