NVIDIAは、自己回帰（AR）、拡散、および自己推論のデコーディングを単一のアーキテクチャ内で統合する三モード言語モデルであるNemotron-Labs-Diffusionを発表しました。結合されたAR-拡散目的関数で学習されたこのモデルは、モードを切り替えることで、異なる展開環境や並列度レベルにおいて高いスループットを維持できます。

  • 研究により、ARと拡散の目的関数は補完的であり、拡散が先読み計画を改善し、ARが左から右への言語事前知識を提供することが示されました。
  • 自己推論モードでは、拡散がドラフトを作成し、ARが検証を行うため、マルチトークン予測手法と比較して受容率と実デバイスでの効率で優れています。
  • 光速度分析により、拡散の潜在能力が示され、最適なサンプリャ条件下で自己推論よりも1回のフォワードパスあたり最大76.5%多くのトークンを生成できることが示されました。
  • Nemotron-Labs-Diffusionファミリーは3B、8B、14Bパラメータにスケールし、ベース、インストラクション、ビジョン言語モデルを含み、精度と速度において最先端のオープンソースLMを上回ります。
  • Nemotron-Labs-Diffusion-8BはQwen3-8Bと比較してフォワードパスあたりのトークン数を6倍多くデコードし、GB200 GPU上でSGLangを使用した場合にSPEED-Benchで4倍の高いスループットを実現します。

このモデルは精度と速度の両面で最先端のオープンソースARおよび拡散LMを一貫して上回り、展開において大きな効率向上をもたらします。