NVIDIA présente Nemotron-Labs-Diffusion, un modèle de langage tri-mode qui unifie le décodage autoregressif (AR), la diffusion et l'auto-spéculation au sein d'une seule architecture. Entraîné avec un objectif joint AR-diffusion, le modèle peut basculer entre les modes pour maintenir un débit élevé dans divers environnements de déploiement et niveaux de concurrence.
- L'étude montre que les objectifs AR et diffusion sont complémentaires, la diffusion améliorant la planification anticipée et AR fournissant des priors linguistiques gauche-droite.
- En mode auto-spéculation, la diffusion rédige les propositions tandis qu'AR les vérifie, surpassant les méthodes de prédiction multi-jets en taux d'acceptation et efficacité sur matériel réel.
- Une analyse théorique démontre le potentiel de la diffusion, permettant jusqu'à 76,5 % de jets supplémentaires par passe avant que l'auto-spéculation avec un échantillonneur optimal.
- La famille Nemotron-Labs-Diffusion s'étend à 3B, 8B et 14B paramètres, incluant des modèles de base, d'instruction et vision-langue qui surpassent les LMs open-source les plus avancés en précision et vitesse.
- Nemotron-Labs-Diffusion-8B décode 6x plus de jets par passe que Qwen3-8B avec une précision comparable, se traduisant par un débit 4x supérieur sur SPEED-Bench avec SGLang sur un GPU GB200.
Le modèle surpasse systématiquement les LMs AR et diffusion open-source les plus avancés en précision et vitesse, offrant des gains d'efficacité significatifs pour le déploiement.