HoLo-FuSe demonstra que um substrato byte do HoLo Semantic Layer (HSL) congelado e de zero parâmetros pode condicionar eficazmente um modelo de difusão para geração de imagens. O projeto testa se este quadro de características determinístico de 27-D pode servir como mecanismo de condicionamento para um DDPM condicional por classe, substituindo os embeddings aprendidos tradicionais.
- Treinado em um único Colab T4 com ~35M parâmetros do U-Net durante 16k passos a uma resolução de 128px.
- Usa o conjunto de dados AFHQ de rostos de animais (Gato/Cachorro) com classificação sem guia e agendamento cosseno.
- Resultados qualitativos correspondidos por semente mostram que o condicionamento HSL é comparável ao controle de embedding aprendido correspondido por orçamento.
- A tonalidade da cor de fundo observada em todos os braços é atribuída ao subtreinamento, e não ao substrato.
Os autores consideram isso uma prova de operação, estabelecendo que o substrato congelado pode direcionar a geração de classes tão bem quanto os controles aprendidos, com o trabalho futuro focado em melhorias de qualidade através de treinamento mais longo.