NVIDIAは、寛容なオープンライセンスの下で、Base、Instruct、Rewardのバリアントを含むNemotron-4 340Bモデルファミリーをリリースした。これらのモデルはFP8精度で8つのGPUを搭載した単一のDGX H100に収まるように設計されており、9兆トークンで学習された。

  • Nemotron-4-340B-Instructは、指示のフォローとチャット能力において同等のインストラクションモデルを上回る。
  • Nemotron-4-340B-RewardはRewardBenchでトップの精度を達成し、GPT-4o-0513やGemini 1.5 Pro-0514などのプロプライエタリモデルを上回った。
  • モデルのアライメントに使用されたデータの98%以上が合成生成されたものだった。
  • NVIDIAは、プロンプトと品質フィルタリングツールを含む合成データ生成パイプラインをオープンソース化している。

今回のリリースは、高品質なモデルと合成トレーニングデータの生成ツールを提供することで、コミュニティの研究と商業的アプリケーションをサポートすることを目的としている。