NVIDIA выпустила семейство моделей Nemotron-4 340B, включающее варианты Base, Instruct и Reward, под разрешительной открытой лицензией. Модели разработаны для размещения на одном DGX H100 с 8 GPU в точности FP8 и обучены на 9 триллионах токенов.

  • Nemotron-4-340B-Instruct превосходит сопоставимые instruct-модели в следовании инструкциям и возможностях чата.
  • Nemotron-4-340B-Reward достигает высокой точности на RewardBench, превосходя проприетарные модели, такие как GPT-4o-0513 и Gemini 1.5 Pro-0514.
  • Более 98% данных, использованных для выравнивания моделей, были сгенерированы синтетически.
  • NVIDIA открывает исходный код конвейера генерации синтетических данных, включая промпты и инструменты фильтрации качества.

Выпуск направлен на поддержку исследований сообщества и коммерческих приложений путем предоставления высококачественных моделей и инструментов для генерации синтетических обучающих данных.