NVIDIA memperkenalkan Nemotron-Labs-Diffusion, model bahasa tiga mode yang menyatukan dekode autoregresif (AR), difusi, dan spekulasi diri dalam satu arsitektur. Dilatih dengan tujuan gabungan AR-difusi, model ini dapat beralih mode untuk mempertahankan throughput tinggi di berbagai pengaturan penayangan dan tingkat konkurensi.
- Studi menunjukkan bahwa tujuan AR dan difusi saling melengkapi, dengan difusi meningkatkan perencanaan lookahead dan AR menyediakan prior linguistik kiri-ke-kanan.
- Dalam mode spekulasi diri, difusi menyusun draf sementara AR memverifikasi, melampaui metode prediksi multi-token dalam tingkat penerimaan dan efisiensi perangkat nyata.
- Analisis kecepatan cahaya menunjukkan potensi difusi, memungkinkan hingga 76,5% lebih banyak token per forward pass dibandingkan spekulasi diri di bawah sampler optimal.
- Keluarga Nemotron-Labs-Diffusion diskalakan ke 3B, 8B, dan 14B parameter, termasuk model dasar, instruksi, dan visi-bahasa yang melampaui LM sumber terbuka terkini dalam akurasi dan kecepatan.
- Nemotron-Labs-Diffusion-8B mendekode 6x lebih banyak token per forward dibandingkan Qwen3-8B dengan akurasi sebanding, diterjemahkan menjadi throughput 4x lebih tinggi di SPEED-Bench dengan SGLang pada GPU GB200.
Model ini secara konsisten melampaui LM AR dan difusi sumber terbuka terkini dalam hal akurasi dan kecepatan, menawarkan peningkatan efisiensi yang signifikan untuk penayangan.