Meta는 모바일 기기의 품질-효율성 트레이드오프를 최적화하도록 설계된 모바일 기기용 Mixture-of-Experts (MoE) 언어 모델 컬렉션인 MobileMoE를 출시했습니다. 이 패밀리는 서브-10억 활성 파라미터와 INT4 형식으로 3 GB 미만의 가중치 크기를 가진 세 가지 모델 스케일을 포함합니다.

  • 모델은 0.3B, 0.5B, 0.9B의 활성 파라미터(각각 1.3B, 2.8B, 5.3B 총계)를 특징으로 하며, Base, SFT, QAT 변형 버전으로 제공됩니다.
  • MobileMoE-L-Base는 922M 활성 파라미터, 32층, 8,192 토큰의 컨텍스트 길이를 가진 사전 학습된 모델입니다.
  • 아키텍처는 top-k 시그모이드 라우팅과 하나의 공유 전문가를 사용하는 60개의 라우팅된 전문가를 활용하며, 영어 텍스트 입력 및 출력을 지원합니다.
  • 이 모델들은 2026년 8월 FAIR NC 라이선스 하에 출시되었으며 Hugging Face에서 호스팅됩니다.