NVIDIA merilis keluarga model Nemotron-4 340B dan pipa data sintetis

NVIDIA telah merilis keluarga model Nemotron-4 340B, yang mencakup varian Base, Instruct, dan Reward, di bawah lisensi terbuka yang permisif. Model-model ini dirancang agar muat pada satu DGX H100 dengan 8 GPU dalam presisi FP8 dan dilatih menggunakan 9 triliun token.

• Nemotron-4-340B-Instruct melampaui model instruksi sebanding dalam kepatuhan instruksi dan kemampuan obrolan.
• Nemotron-4-340B-Reward mencapai akurasi tertinggi di RewardBench, mengungguli model tertutup seperti GPT-4o-0513 dan Gemini 1.5 Pro-0514.
• Lebih dari 98% data yang digunakan untuk penyelarasan model dihasilkan secara sintetis.
• NVIDIA membuka sumber pipa generasi data sintetis, termasuk prompt dan alat penyaringan kualitas.

Rilis ini bertujuan mendukung penelitian komunitas dan aplikasi komersial dengan menyediakan model berkualitas tinggi serta alat untuk menghasilkan data pelatihan sintetis.