HoLo-FuSeは、凍結されたゼロパラメータのHoLo Semantic Layer (HSL) バイト基盤が、画像生成のための拡散モデルを効果的に条件付けできることを実証した。このプロジェクトは、この決定論的な27-D特徴フレームが、従来の学習済み埋め込みの代わりにクラス条件付きDDPMの条件付けメカニズムとして機能できるかどうかを検証している。

  • 16kステップ、128px解像度で~35M U-Netパラメータを持つ単一のColab T4でトレーニング。
  • クラスファイヤーフリーガイダンスとコサインスケジュールを使用するAFHQ動物顔データセット(Cat/Dog)。
  • シード一致の定性的結果は、HSL条件付けが予算一致の学習済み埋め込み制御と比較して同等のパフォーマンスを示すことを示している。
  • すべてのアームで観察された背景色の tint は、基盤ではなく過少トレーニングによるものと帰因されている。

著者らはこれを動作実証と見なしており、凍結基盤が学習済み制御と同様にクラス生成を誘導できることを確立し、今後の作業はより長いトレーニングを通じた品質改善に焦点を当てている。