Metaは、Mixture-of-Experts (MoE) アーキテクチャで構築された最初のオープンウェイトネイティブマルチモーダルモデルであるLlama 4 ScoutとLlama 4 Maverickのリリースを発表しました。これらのモデルは、前例のないコンテキスト長のサポートと効率的なデプロイメント機能により、全体のLlamaエコシステムをサポートするように設計されています。

  • Llama 4 Scoutは170億のアクティブパラメータと16のエキスパートを持ち、Int4量子化で単一のH100 GPUに収まり、10Mの入力コンテキスト長をサポートします。
  • Llama 4 Maverickは128のルーティングエキスパートと共有エキスパートを使用した170億のアクティブパラメータを使用し、単一のH100 DGXホストで実行可能でありながら推論レイテンシを低減します。
  • 両モデルは早期融合を利用し、テキストとビジョントークンをシームレスに統合し、多様なテキスト、画像、ビデオデータセットを含む30兆以上のトークンでトレーニングされました。
  • Metaはまた、MATH-500やGPQA DiamondなどのSTEMベンチマークでGPT-4.5、Claude Sonnet 3.7、Gemini 2.0 Proを上回る教師モデルであるLlama 4 Behemothをプレビューしました。

今回のリリースは、次世代の消費者向けおよびビジネスアプリケーションを構築するための効率的で高品質なマルチモーダルインテリジェンスを開発者に提供することを目指しています。