NVIDIA NeMo Automodel permet le fine-tuning distribué de modèles de diffusion avec Hugging Face Diffusers

NVIDIA et Hugging Face ont intégré NVIDIA NeMo Automodel à la bibliothèque 🤗 Diffusers pour fournir un entraînement distribué de qualité production pour les modèles de diffusion open-source. Cette collaboration permet aux utilisateurs de fine-tuner n'importe quel modèle au format Diffusers sur le Hub Hugging Face sans nécessiter de conversion de checkpoints ni de réécriture du code du modèle.

• L'intégration prend en charge le fine-tuning complet et le fine-tuning efficace en paramètres de style LoRA (PEFT) pour les modèles de correspondance de flux comme FLUX.1-dev et Wan 2.1.
• NeMo Automodel utilise la parallélisation native PyTorch DTensor, incluant FSDP2, la parallélisation tensorielle, contextuelle et par pipeline, pour mettre à l'échelle l'entraînement d'un GPU à des centaines.
• Le système emploie un entraînement dans l'espace latent avec des sorties VAE pré-encodées et des dataloaders à seaux multirésolution pour accélérer le débit.
• Les poids pré-entraînés se chargent directement dans DiffusionPipeline pour l'inférence, garantissant que les outils en aval comme la quantification et les échantillonneurs personnalisés restent compatibles.

Cette approche permet aux chercheurs et aux développeurs de mettre à l'échelle l'adaptation des modèles de diffusion efficacement tout en maintenant la compatibilité avec l'écosystème Hugging Face existant.