मेटा ने मोबाइल उपकरणों के लिए गुणवत्ता-दक्षता संतुलन को अनुकूलित करने के लिए डिज़ाइन किए गए, मोबाइल उपकरणों पर चलने वाले मिक्सचर-ऑफ़-एक्सपर्ट्स (MoE) भाषा मॉडलों का एक संग्रह MobileMoE जारी किया है। इस परिवार में तीन मॉडल स्केल शामिल हैं जिनमें अर्ध-अरब सक्रिय पैरामीटर और INT4 फॉर्मेट में 3 GB से कम वजन फुटप्रिंट हैं।

  • मॉडलों में 0.3B, 0.5B और 0.9B सक्रिय पैरामीटर (1.3B, 2.8B और 5.3B कुल) हैं, प्रत्येक Base, SFT और QAT वेरिएंट में उपलब्ध है।
  • MobileMoE-L-Base एक पूर्व-प्रशिक्षित मॉडल है जिसमें 922M सक्रिय पैरामीटर, 32 परतें और 8,190 टोकन की संदर्भ लंबाई है।
  • आर्किटेक्चर में top-k sigmoid रूटिंग के साथ 60 राउटेड एक्सपर्ट्स और एक साझा एक्सपर्ट का उपयोग किया जाता है, जो अंग्रेजी टेक्स्ट इनपुट और आउटपुट का समर्थन करता है।
  • मॉडल अगस्त 2026 में FAIR NC लाइसेंस के तहत जारी किए गए हैं और Hugging Face पर होस्ट किए गए हैं।