Meta выпустила MobileMoE, коллекцию моделей смешанных экспертов (MoE) для мобильных устройств, разработанных для оптимизации компромисса между качеством и эффективностью на мобильных устройствах. Семейство включает три масштаба моделей с субмиллиардным количеством активных параметров и размером весов менее 3 ГБ в формате INT4.

  • Модели имеют 0.3B, 0.5B и 0.9B активных параметров (1.3B, 2.8B и 5.3B всего), каждая доступна в вариантах Base, SFT и QAT.
  • MobileMoE-L-Base — это предварительно обученная модель с 922M активными параметрами, 32 слоями и длиной контекста 8192 токенов.
  • Архитектура использует 60 маршрутизируемых экспертов с маршрутизацией top-k sigmoid и одним общим экспертом, поддерживая ввод и вывод текста на английском языке.
  • Модели выпущены под лицензией FAIR NC в августе 2026 года и размещены на Hugging Face.