L'article présente A.L.F.R.E.D., une approche appelée Adaptive Local-First Routing and Execution Distillation, qui vise à réduire les coûts de calcul en acheminant les tâches simples vers des modèles plus petits.
- Le système capture les motifs des requêtes réussies traitées par les grands modèles et les stocke dans une base de données.
- Lorsque des requêtes similaires surviennent, le système les achemine vers un modèle de 2B en utilisant le motif stocké au lieu d'invoquer le grand modèle.
- Cette méthode réduit l'utilisation de tokens d'environ 7k à ~1k pour les tâches simples, résultant en une réduction des coûts de vitesse d'environ 4x tout en maintenant la validation.
Cette approche permet aux systèmes de déléguer les tâches lourdes en raisonnement aux grands modèles tout en gérant les requêtes répétitives ou patternées avec des modèles plus petits et plus rapides.