NVIDIAは、ベース、インストラクション、リワードのバリアントからなるNemotron-4 340Bモデルファミリーと、アライメントに使用された合成データ生成パイプラインをリリースした。モデルはNVIDIA Open Model License Agreementの下でオープンアクセス可能であり、FP8精度で8つのGPUを搭載した単一のDGX H100に収まるサイズに設計されている。

  • Nemotron-4-340B-Base、Instruct、Rewardのバリアントは、配布と修正を許可する寛容なライセンスの下で利用可能である。
  • モデルはオープンアクセスベンチマークに対して競争力のあるパフォーマンスを示し、FP8精度で8つのGPUを搭載した単一のDGX H100に収まるように最適化されている。
  • モデルのアライメントプロセスで使用されたデータの98%以上が合成生成されており、このアプローチの有効性を示している。
  • NVIDIAはオープンな研究を支援し、より小さな言語モデルのトレーニングを促進するために、合成データ生成パイプラインをオープンソースとして公開する。

今回のリリースは、特に小さな言語モデルをトレーニングするための合成データの生成において、研究調査や商業アプリケーションにおけるコミュニティへの恩恵を目指している。