NVIDIA发布了Nemotron-4 340B模型家族，包含Base、Instruct和Reward变体，以及用于对齐的合成数据生成流水线。这些模型在NVIDIA开放模型许可协议下开放获取，其尺寸设计为可适配于配备8块GPU的单个DGX H100设备，精度为FP8。
- Nemotron-4-340B-Base、Instruct和Reward变体在宽松许可下提供，允许分发和修改。
- 这些模型在开放获取基准测试中表现具有竞争力，并经过优化以适配于配备8块GPU的单个DGX H100设备，精度为FP8。
- 模型对齐过程中使用的数据超过98%为合成生成，证明了该方法的有效性。
- NVIDIA开源了合成数据生成流水线，以支持开放研究并促进较小语言模型的训练。
此次发布旨在使社区在研究研究和商业应用中受益，特别是用于生成合成数据以训练较小的语言模型。