HoLo-FuSe mendemonstrasikan bahwa substrat byte HoLo Semantic Layer (HSL) yang membeku dan nol-parameter dapat secara efektif mengkondisikan model difusi untuk generasi gambar. Proyek ini menguji apakah bingkai fitur deterministik 27-D ini dapat berfungsi sebagai mekanisme kondisioning untuk DDPM kondisional kelas, menggantikan embedding yang dipelajari secara tradisional.
- Dilatih pada satu Colab T4 dengan ~35M parameter U-Net selama 16k langkah pada resolusi 128px.
- Menggunakan dataset wajah hewan AFHQ (Kucing/Anjing) dengan panduan tanpa klasifikasi dan jadwal kosinus.
- Hasil kualitatif yang cocok berdasarkan seed menunjukkan bahwa kondisioning HSL berkinerja setara dengan kontrol embedding yang dipelajari yang cocok berdasarkan anggaran.
- Rona warna latar belakang yang diamati di semua lengan dikaitkan dengan pelatihan kurang daripada substrat.
Para penulis menganggap ini sebagai bukti operasi, menetapkan bahwa substrat yang membeku dapat mengarahkan generasi kelas sama baiknya dengan kontrol yang dipelajari, dengan pekerjaan masa depan berfokus pada peningkatan kualitas melalui pelatihan yang lebih lama.