أطلقت ميتا MobileMoE، وهي مجموعة من نماذج اللغة Mixture-of-Experts (MoE) للأجهزة المحمولة مصممة لتحسين مقايضة الجودة والكفاءة على الأجهزة المحمولة. تتضمن العائلة ثلاثة أحجام للنماذج مع معاملات نشطة أقل من مليار وبصمات وزن أقل من 3 جيجابايت بتنسيق INT4.

  • تتميز النماذج بـ 0.3B و0.5B و0.9B من المعاملات النشطة (1.3B و2.8B و5.3B إجمالاً)، وكل منها متاح في متغيرات Base وSFT وQAT.
  • MobileMoE-L-Base هو النموذج المدرب مسبقًا بـ 922M معامل نشط، و32 طبقة، وطول سياق يبلغ 8,192 رمزًا.
  • تستخدم البنية 60 خبيرًا مُوجَّهًا مع توجيه top-k sigmoid وخبير مشترك، وتدعم إدخال وإخراج النص باللغة الإنجليزية.
  • تم إصدار النماذج بموجب ترخيص FAIR NC في أغسطس 2026، وهي مستضافة على Hugging Face.