लेख A.L.F.R.E.D. पेश करता है, जिसे Adaptive Local-First Routing and Execution Distillation कहा जाता है, जो सरल कार्यों को छोटे मॉडलों पर रूट करके कंप्यूट लागत को कम करने का लक्ष्य रखता है।
- सिस्टम बड़े मॉडल द्वारा सफल क्वेरीज़ से पैटर्न कैप्चर करता है और उन्हें डेटाबेस में संग्रहीत करता है।
- जब समान अनुरोध आते हैं, तो सिस्टम संग्रहीत पैटर्न का उपयोग करके बड़े मॉडल को इन्वोक करने के बजाय उन्हें 2B मॉडल पर रूट करता है।
- इस विधि से सरल कार्यों के लिए टोकन उपयोग लगभग 7k से ~1k तक कम हो जाता है, जिससे सत्यापन बनाए रखते हुए गति लागत में लगभग 4x की कमी आती है।
यह दृष्टिकोण सिस्टमों को तर्क-केंद्रित कार्यों को बड़े मॉडलों पर असाइन करने और दोहराए जाने वाले या पैटर्न वाले अनुरोधों को छोटे, तेज़ मॉडलों से संभालने की अनुमति देता है।