HoLo-FuSe démontre qu'un substrat byte HoLo Semantic Layer (HSL) gelé et à zéro paramètre peut efficacement conditionner un modèle de diffusion pour la génération d'images. Le projet teste si cette trame de caractéristiques déterministe 27-D peut servir de mécanisme de conditionnement pour un DDPM conditionné par classe, remplaçant les embeddings appris traditionnels.

  • Entraîné sur un seul Colab T4 avec ~35M paramètres U-Net sur 16k étapes à une résolution de 128px.
  • Utilise le dataset AFHQ visages d'animaux (Chat/Chien) avec guidance sans classeur et planification cosinus.
  • Les résultats qualitatifs appariés par seed montrent que le conditionnement HSL est comparable au contrôle par embedding appris apparié en budget.
  • La teinte de couleur de fond observée dans tous les bras est attribuée à un sous-apprentissage plutôt qu'au substrat.

Les auteurs considèrent cela comme une preuve de concept, établissant que le substrat gelé peut orienter la génération de classe aussi bien que les contrôles appris, avec des travaux futurs axés sur l'amélioration de la qualité par un entraînement plus long.