NVIDIA는 자가회귀(AR), 확산 및 자기 추측 디코딩을 단일 아키텍처에서 통합하는 삼중 모드 언어 모델인 Nemotron-Labs-Diffusion을 소개합니다. 결합된 AR-확산 목적 함수로 학습된 이 모델은 다양한 배포 환경과 동시성 수준에 걸쳐 높은 처리량을 유지하기 위해 모드를 전환할 수 있습니다.
- 연구 결과 AR와 확산 목적 함수는 상호 보완적이며, 확산이 전방 계획 능력을 향상시키고 AR가 좌측에서 우측으로의 언어 사전 정보를 제공함을 보여줍니다.
- 자기 추측 모드에서는 확산이 초안을 작성하고 AR가 검증을 수행하여, 다중 토큰 예측 방법보다 수용률과 실제 장치 효율성에서 더 우수한 성능을 보입니다.
- 광속 분석은 확산의 잠재력을 보여주며, 최적의 샘플러 하에서 자기 추측보다 전방 패스당 최대 76.5% 더 많은 토큰을 처리할 수 있음을 입증합니다.
- Nemotron-Labs-Diffusion 계열은 3B, 8B, 14B 파라미터로 확장되며, 정확도와 속도 측면에서 최상위 오픈소스 LM을 능가하는 베이스, 지시 및 비전-언어 모델을 포함합니다.
- Nemotron-Labs-Diffusion-8B는 Qwen3-8B와 비교할 만한 정확도로 전방 패스당 6배 더 많은 토큰을 디코딩하며, 이는 GB200 GPU에서 SGLang 사용 시 SPEED-Bench에서 4배 높은 처리량으로 이어집니다.
이 모델은 정확도와 속도 측면에서 최상위 오픈소스 AR 및 확산 LM을 일관되게 능가하여 배포에 상당한 효율성 향상을 제공합니다.