Meta宣布发布Llama 4 Scout和Llama 4 Maverick，推出首批采用混合专家（MoE）架构构建的原生多模态开源权重模型。这些模型旨在支持整个Llama生态系统，提供前所未有的上下文长度支持和高效的部署能力。

  • Llama 4 Scout拥有170亿激活参数，包含16个专家，可在单个H100 GPU上通过Int4量化运行，并支持10M输入上下文长度。
  • Llama 4 Maverick使用170亿激活参数，包含128个路由专家和1个共享专家，使其能够在单个H100 DGX主机上运行，同时降低推理延迟。
  • 两个模型均采用早期融合技术，无缝整合文本和视觉令牌，并在超过30万亿令牌的数据集上进行训练，涵盖多样化的文本、图像和视频数据集。
  • Meta还预览了Llama 4 Behemoth，这是一个教师模型，在MATH-500和GPQA Diamond等STEM基准测试中超越了GPT-4.5、Claude Sonnet 3.7和Gemini 2.0 Pro。

此次发布旨在为开发者提供高效、高质量的多模态智能，用于构建下一代消费级和商业应用。