Meta已公开发布Llama 3.1，推出了其旗舰级405B参数模型以及升级版的8B和70B版本。该公司将405B模型定位为世界上最大的公开可用基础模型，声称其在通用知识、数学和工具使用等方面的能力可与顶级闭源AI模型相媲美。

  • Llama 3.1 405B使用了超过16,000块H100 GPU在超过15万亿个token上进行训练，并量化为8位（FP8）数值以实现高效推理。
  • 升级版的8B和70B模型具备128K上下文长度、多语言支持以及改进的推理能力。
  • Meta更新了许可证，允许开发者利用模型输出来改进其他模型，包括通过合成数据生成和蒸馏方式。
  • 性能评估表明，在超过150个基准数据集上，该模型与GPT-4、GPT-4o和Claude 3.5 Sonnet具有竞争力。
  • 此次发布还包括Llama Guard 3、Prompt Guard以及标准化组件接口的“Llama Stack”提案。

此次发布旨在通过提供可在本地或内部部署且无需与Meta共享数据的可定制权重，降低开发者的使用门槛。