تقدم المقالة نهجًا يُدعى A.L.F.R.E.D. (Adaptive Local-First Routing and Execution Distillation)، يهدف إلى تقليل تكاليف الحوسبة عن طريق توجيه المهام الأبسط إلى نماذج أصغر.
- يلتقط النظام الأنماط من الاستعلامات الناجحة التي تعالجها النماذج الكبيرة ويخزنها في قاعدة بيانات.
- عند ظهور طلبات مماثلة، يقوم النظام بتوجيهها إلى نموذج بحجم 2B باستخدام النمط المخزن بدلاً من استدعاء النموذج الكبير.
- تقلل هذه الطريقة من استخدام الرموز (tokens) من حوالي 7k إلى ~1k للمهام البسيطة، مما يؤدي إلى تقليل تكاليف السرعة بنسبة تقارب 4 أضعاف مع الحفاظ على التحقق من الصحة.
يتيح هذا النهج للنظم تفويض المهام المعقدة التي تتطلب الاستدلال إلى النماذج الكبيرة بينما تتعامل مع الطلبات المتكررة أو ذات الأنماط المحددة باستخدام نماذج أصغر وأسرع.