Apple ने अपने तीसरी पीढ़ी के आधार मॉडलों (AFM3) के लिए एक नई आर्किटेक्चर पेश की है जो "निर्देश-अनुसरण प्रuning" का उपयोग करके सक्रिय पैरामीटर गिनती को काफी कम करता है। मॉडल को डिज़ाइन किया गया है ताकि यह अपने MLP परतों का लगभग 20% सक्रिय कर सके, प्रति टोकन के बजाय प्रति प्रम्प्ट एक बार रूटिंग निर्णय लेकर।
- सिस्टम पूरे मॉडल को फ्लैश स्टोरेज में रखता है और किसी भी समय केवल एक छोटा सेट "विशेषज्ञ" पैरामीटर (1 से 4 अर्ब के बीच) वर्किंग मेमोरी में लोड करता है।
- साझा विशेषज्ञों का एक कोर सदैव सक्रिय रहता है, जबकि शेष पैरामीटर इनपुट प्रम्प्ट के आधार पर आवश्यकतानुसार लोड किए जाते हैं।
- यह दृष्टिकोण 30B सक्रिय MoE को 14B सक्रिय मॉडल के तुलनीय रीड बैंडविड्थ प्रदर्शन प्राप्त करने की अनुमति देता है, और प्रभावी ढंग से एक 9B घन मॉडल को एक 3B सक्रिय मॉडल में बदल देता है।
यह विधि विरल सक्रियण पैटर्न के माध्यम से प्रदर्शन बनाए रखते हुए मेमोरी उपयोग को न्यूनतम करके दक्षता में सुधार का लक्षित रखती है।