NVIDIA dan Hugging Face telah mengintegrasikan NVIDIA NeMo Automodel dengan pustaka 🤗 Diffusers untuk menyediakan pelatihan terdistribusi tingkat produksi untuk model difusi sumber terbuka. Kolaborasi ini memungkinkan pengguna menala halus model format Diffusers apa pun di Hugging Face Hub tanpa memerlukan konversi checkpoint atau penulisan ulang kode model.
- Integrasi mendukung penalaan halus penuh dan penalaan halus parameter-efisien gaya LoRA (PEFT) untuk model pencocokan aliran seperti FLUX.1-dev dan Wan 2.1.
- NeMo Automodel memanfaatkan paralelisme asli PyTorch DTensor, termasuk FSDP2, paralelisme tensor, konteks, dan pipa, untuk skala pelatihan dari satu GPU hingga ratusan.
- Sistem ini menerapkan pelatihan ruang laten dengan keluaran VAE yang telah dikodekan sebelumnya dan pemuat data berkeranjang multiresolusi untuk mempercepat throughput.
- Bobot terlatih dimuat langsung ke DiffusionPipeline untuk inferensi, memastikan alat hilir seperti kuantisasi dan sampler khusus tetap kompatibel.
Pendekatan ini memungkinkan peneliti dan pembangun menskalakan adaptasi model difusi secara efisien sambil mempertahankan kompatibilitas dengan ekosistem Hugging Face yang ada.