A NVIDIA apresenta o Nemotron-Labs-Diffusion, um modelo de linguagem tri-modo que unifica a decodificação autoregressiva (AR), difusão e autoespeculação dentro de uma única arquitetura. Treinado com um objetivo conjunto AR-difusão, o modelo pode alternar entre modos para manter alta taxa de transferência em diferentes configurações de implantação e níveis de concorrência.

  • O estudo mostra que os objetivos AR e difusão são complementares, com a difusão melhorando o planejamento antecipado e o AR fornecendo priores linguísticos da esquerda para a direita.
  • No modo de autoespeculação, a difusão rascunha enquanto o AR verifica, superando métodos de previsão de múltiplos tokens em taxa de aceitação e eficiência em dispositivos reais.
  • Uma análise de velocidade da luz demonstra o potencial da difusão, permitindo até 76,5% mais tokens por passagem direta do que a autoespeculação sob um amostrador ideal.
  • A família Nemotron-Labs-Diffusion escala para 3B, 8B e 14B parâmetros, incluindo modelos base, de instrução e visão-linguagem que superam LMs open-source de última geração em precisão e velocidade.
  • O Nemotron-Labs-Diffusion-8B decodifica 6x mais tokens por passagem direta do que o Qwen3-8B com precisão comparável, resultando em 4x maior taxa de transferência no SPEED-Bench com SGLang em uma GPU GB200.

O modelo supera consistentemente os LMs open-source AR e difusão de última geração tanto em precisão quanto em velocidade, oferecendo ganhos significativos de eficiência para implantação.