NVIDIA telah merilis model Nemotron-Labs-3-Puzzle-75B-A9B, model bahasa besar yang dioptimalkan untuk deployment yang berasal dari Nemotron-3-Super-120B-A12B. Model ini memanfaatkan framework kompresi pasca-pelatihan Puzzle Iteratif untuk secara signifikan meningkatkan efisiensi inferensi untuk beban kerja yang berat dalam penalaran dan konteks panjang sambil mempertahankan akurasi downstream yang kuat.
- Mengurangi parameter dari 120,7B total / 12,8B aktif menjadi 75,3B total / 9,3B aktif.
- Mencapai throughput server sekitar 2x lebih tinggi pada satu node 8x B200 dengan batasan throughput pengguna yang sama.
- Meningkatkan konkurensi single-H100 1M-token yang berkelanjutan dari 1 permintaan menjadi 8 permintaan.
- Mempertahankan akurasi yang kuat di berbagai benchmark penalaran, pemrograman, multibahasa, konteks panjang, dan agen.
Model ini mendukung Prediksi Multi-Token untuk generasi teks yang lebih cepat dan siap untuk penggunaan komersial dalam bahasa Inggris, Prancis, Jerman, Italia, Jepang, Spanyol, dan Mandarin.