NVIDIA NeMo Automodel permite ajuste fino distribuído de modelos de difusão com Diffusers do Hugging Face

A NVIDIA e a Hugging Face integraram o NVIDIA NeMo Automodel à biblioteca 🤗 Diffusers para fornecer treinamento distribuído de nível de produção para modelos de difusão de código aberto. Essa colaboração permite que os usuários ajustem qualquer modelo no formato Diffusers do Hugging Face Hub sem exigir conversão de checkpoints ou reescrita do código do modelo.

• A integração suporta ajuste fino completo e ajuste fino eficiente em parâmetros estilo LoRA (PEFT) para modelos de correspondência de fluxo como FLUX.1-dev e Wan 2.1.
• O NeMo Automodel utiliza paralelismo nativo do PyTorch DTensor, incluindo FSDP2, paralelismo de tensor, contexto e pipeline, para escalar o treinamento de uma GPU para centenas.
• O sistema emprega treinamento no espaço latente com saídas de VAE pré-codificadas e dataloaders em buckets de resolução múltipla para acelerar a taxa de transferência.
• Os pesos pré-treinados são carregados diretamente no DiffusionPipeline para inferência, garantindo que ferramentas downstream como quantização e samplers personalizados permaneçam compatíveis.

Essa abordagem permite que pesquisadores e desenvolvedores escalem a adaptação de modelos de difusão de forma eficiente, mantendo a compatibilidade com o ecossistema existente do Hugging Face.