Metaは、モバイルデバイス上の品質と効率のトレードオフを最適化するために設計された、モバイルデバイス向けのMixture-of-Experts (MoE)言語モデルのコレクションであるMobileMoEをリリースしました。このファミリーには、サブ10億のアクティブパラメータとINT4形式で3 GB未満の重みフットプリントを持つ3つのモデルスケールが含まれています。

  • モデルは0.3B、0.5B、0.9Bのアクティブパラメータ（それぞれ1.3B、2.8B、5.3B合計）を持ち、Base、SFT、QATバリアントが利用可能です。
  • MobileMoE-L-Baseは、922Mのアクティブパラメータ、32層、8,192トークンのコンテキスト長を持つ事前学習済みモデルです。
  • アーキテクチャは、top-k sigmoidルーティングと1つの共有エキスパートを使用した60のルーテッドエキスパートを利用し、英語のテキスト入力と出力をサポートします。
  • 2026年8月にFAIR NCライセンスの下でリリースされ、Hugging Faceでホストされています。