Meta发布了MobileMoE，这是一组专为移动设备优化的混合专家（MoE）语言模型，旨在优化移动设备上的质量与效率平衡。该系列包含三个模型规模，具有亚十亿级激活参数，INT4格式下的权重体积小于3 GB。

  • 这些模型拥有0.3B、0.5B和0.9B的激活参数（总计1.3B、2.8B和5.3B），每个模型均有Base、SFT和QAT变体。
  • MobileMoE-L-Base是预训练模型，具有922M激活参数、32层以及8,192个token的上下文长度。
  • 该架构利用60个路由专家，采用top-k sigmoid路由和一个共享专家，支持英文文本输入和输出。
  • 这些模型于2026年8月以FAIR NC许可证发布，托管在Hugging Face上。