NVIDIA NeMo Automodel permite el ajuste fino distribuido de modelos de difusión con Hugging Face Diffusers

NVIDIA y Hugging Face han integrado NVIDIA NeMo Automodel con la biblioteca 🤗 Diffusers para proporcionar entrenamiento distribuido de nivel de producción para modelos de difusión de código abierto. Esta colaboración permite a los usuarios ajustar cualquier modelo en formato Diffusers en el Hub de Hugging Face sin requerir conversión de puntos de control ni reescritura del código del modelo.

• La integración admite ajuste fino completo y ajuste fino eficiente en parámetros estilo LoRA (PEFT) para modelos de coincidencia de flujo como FLUX.1-dev y Wan 2.1.
• NeMo Automodel utiliza paralelismo nativo de PyTorch DTensor, que incluye FSDP2, paralelismo de tensor, contexto y pipeline, para escalar el entrenamiento desde una GPU hasta cientos.
• El sistema emplea entrenamiento en el espacio latente con salidas VAE precodificadas y dataloaders agrupados multirresolución para acelerar el rendimiento.
• Los pesos preentrenados se cargan directamente en DiffusionPipeline para inferencia, asegurando que las herramientas de downstream como la cuantización y los muestreadores personalizados sigan siendo compatibles.

Este enfoque permite a investigadores y desarrolladores escalar la adaptación de modelos de difusión de manera eficiente mientras mantienen la compatibilidad con el ecosistema existente de Hugging Face.