NVIDIA 与 Hugging Face 已将 NVIDIA NeMo Automodel 集成至 🤗 Diffusers 库，为开源扩散模型提供生产级分布式训练。此次合作使用户能够在 Hugging Face Hub 上微调任何 Diffusers 格式模型，无需进行检查点转换或重写模型代码。
- 该集成支持对 FLUX.1-dev 和 Wan 2.1 等流匹配模型的全量微调和 LoRA 风格参数高效微调 (PEFT)。
- NeMo Automodel 利用 PyTorch DTensor 原生并行性，包括 FSDP2、张量、上下文和流水线并行，将训练规模从单 GPU 扩展至数百个 GPU。
- 该系统采用潜在空间训练，结合预编码的 VAE 输出和多分辨率分桶数据加载器，以提升吞吐量。
- 预训练权重直接加载至 DiffusionPipeline 进行推理，确保量化和自定义采样器等下游工具保持兼容。
这种方法使研究人员和开发者能够高效地扩展扩散模型适配，同时保持与现有 Hugging Face 生态系统的兼容性。