NVIDIAとHugging Faceは、NVIDIA NeMo Automodelを🤗 Diffusersライブラリと統合し、オープンソースの拡散モデルに対して本番環境対応の分散トレーニングを提供しました。この協力により、ユーザーはチェックポイントの変換やモデルコードの書き換えを行うことなく、Hugging Face Hub上のDiffusers形式のモデルをファインチューニングできます。

  • この統合は、FLUX.1-devやWan 2.1などのフローマッチングモデルに対して、フルファインチューニングとLoRAスタイルのパラメータ効率的ファインチューニング（PEFT）をサポートします。
  • NeMo Automodelは、PyTorch DTensorネイティブの並列性、FSDP2、テンソル並列、コンテキスト並列、パイプライン並列を利用し、1つのGPUから数百基へのスケーリングを可能にします。
  • システムは、事前エンコードされたVAE出力とマルチ解像度バケット化データローダーを用いた潜在空間トレーニングにより、スループットを加速します。
  • 推論には事前学習済み重みがDiffusionPipelineに直接読み込まれ、量子化やカスタムサンプラーなどのダウンストリームツールとの互換性が確保されます。

このアプローチにより、研究者や開発者は既存のHugging Faceエコシステムとの互換性を維持しつつ、拡散モデルの適応を効率的にスケーリングできます。