HoLo-FuSe demuestra que un sustrato byte de HoLo Semantic Layer (HSL) congelado y de cero parámetros puede condicionar eficazmente un modelo de difusión para la generación de imágenes. El proyecto prueba si este marco de características determinista de 27-D puede servir como mecanismo de condicionamiento para un DDPM condicional por clase, reemplazando los embeddings aprendidos tradicionales.

  • Entrenado en un solo Colab T4 con ~35M parámetros de U-Net durante 16k pasos a resolución de 128px.
  • Utiliza el conjunto de datos AFHQ de caras de animales (Gato/Perro) con guía sin clasificador y programación coseno.
  • Los resultados cualitativos emparejados por semilla muestran que la condicionamiento HSL es comparable al control de embedding aprendido emparejado por presupuesto.
  • La tinte del color de fondo observado en todos los brazos se atribuye a un subentrenamiento en lugar del sustrato.

Los autores consideran esto una prueba de operación, estableciendo que el sustrato congelado puede dirigir la generación de clases tan bien como los controles aprendidos, con el trabajo futuro centrado en mejoras de calidad mediante un entrenamiento más largo.