El artículo presenta A.L.F.R.E.D., un enfoque llamado Adaptive Local-First Routing and Execution Distillation, que tiene como objetivo reducir los costos de computación al enrutar tareas más simples a modelos más pequeños.
- El sistema captura patrones de consultas exitosas manejadas por modelos grandes y los almacena en una base de datos.
- Cuando surgen solicitudes similares, el sistema las enruta a un modelo de 2B utilizando el patrón almacenado en lugar de invocar al modelo grande.
- Este método reduce el uso de tokens de aproximadamente 7k a ~1k para tareas simples, lo que resulta en una reducción de costos de velocidad de aproximadamente 4x mientras se mantiene la validación.
Este enfoque permite a los sistemas delegar tareas con alto razonamiento a modelos grandes mientras manejan solicitudes repetitivas o patrones con modelos más pequeños y rápidos.