Компании NVIDIA и Hugging Face интегрировали NVIDIA NeMo Automodel с библиотекой 🤗 Diffusers для обеспечения готового к производству распределённого обучения открытых диффузионных моделей. Это сотрудничество позволяет пользователям выполнять тонкую настройку любой модели в формате Diffusers на платформе Hugging Face Hub без необходимости преобразования чекпоинтов или переписывания кода модели.
- Интеграция поддерживает полную тонкую настройку и параметрически эффективную тонкую настройку по типу LoRA (PEFT) для моделей, основанных на сопоставлении потоков, таких как FLUX.1-dev и Wan 2.1.
- NeMo Automodel использует нативный параллелизм PyTorch DTensor, включая FSDP2, тензорный, контекстный и конвейерный параллелизм, для масштабирования обучения от одного GPU до сотен.
- Система применяет обучение в латентном пространстве с предварительно закодированными выходами VAE и многоуровневыми пакетными загрузчиками данных для ускорения пропускной способности.
- Предобученные веса загружаются непосредственно в DiffusionPipeline для вывода, что гарантирует совместимость таких инструментов последующей обработки, как квантование и пользовательские сэмплеры.
Этот подход позволяет исследователям и разработчикам эффективно масштабировать адаптацию диффузионных моделей, сохраняя совместимость с существующей экосистемой Hugging Face.