NVIDIA NeMo Automodel은 Hugging Face Diffusers와 함께 분산 디퓨전 모델 파인튜닝을 가능하게 합니다

NVIDIA와 Hugging Face는 NVIDIA NeMo Automodel을 🤗 Diffusers 라이브러리와 통합하여 오픈 소스 디퓨전 모델에 대한 프로덕션 수준의 분산 학습을 제공합니다. 이 협력을 통해 사용자는 체크포인트 변환이나 모델 코드 수정 없이 Hugging Face Hub에서 Diffusers 형식의 모델을 파인튜닝할 수 있습니다.

• 이 통합은 FLUX.1-dev 및 Wan 2.1과 같은 플로우 매칭 모델에 대한 전체 파인튜닝과 LoRA 스타일의 파라미터 효율적 파인튜닝(PEFT)을 지원합니다.
• NeMo Automodel은 FSDP2, 텐서 병렬성, 컨텍스트 병렬성 및 파이프라인 병렬성을 포함한 PyTorch DTensor 네이티브 병렬성을 활용하여 학습을 하나의 GPU에서 수백 개의 GPU로 확장합니다.
• 시스템은 사전 인코딩된 VAE 출력과 다중 해상도 버킷화된 데이터 로더를 사용하여 잠재 공간 학습으로 처리량을 가속화합니다.
• 사전 학습된 가중치는 DiffusionPipeline에 직접 로드되어 양자화 및 커스텀 샘플러와 같은 다운스트림 도구가 호환성을 유지하도록 보장합니다.

이 접근 방식은 연구자와 개발자가 기존 Hugging Face 생태계와의 호환성을 유지하면서 디퓨전 모델 적응을 효율적으로 확장할 수 있게 합니다.