HoLo-FuSe प्रदर्शित करता है कि एक फ्रोजन, ज़ीरो-पैरामीटर HoLo Semantic Layer (HSL) बाइट सब्सट्रेट इमेज जनरेशन के लिए डिफ्यूजन मॉडल को प्रभावी ढंग से कंडीशन कर सकता है। परियोजना इस बात का परीक्षण करती है कि क्या यह निर्धारक 27-D फीचर फ्रेम एक क्लास-कंडीशनल DDPM के लिए कंडीशनिंग तंत्र के रूप में कार्य कर सकता है, पारंपरिक सीखे गए एम्बेडिंग्स को बदलकर।
- ~35M U-Net पैरामीटर के साथ एकल Colab T4 पर 128px रिज़ॉल्यूशन पर 16k स्टेप्स में प्रशिक्षित किया गया।
- क्लासिफायर-फ्री गाइडेंस और कोसाइन शेड्यूल के साथ AFHQ एनिमल फेसेस डेटासेट (बिल्ली/कुत्ता) का उपयोग करता है।
- सीड-मैच्ड गुणात्मक परिणाम दिखाते हैं कि HSL कंडीशनिंग बजेट-मैच्ड सीखे गए एम्बेडिंग नियंत्रण के तुलनीय प्रदर्शन करती है।
- सभी आर्म्स में देखा गया पृष्ठभूमि रंग टिंट को सब्सट्रेट के बजाय अंडर-ट्रेनिंग के कारण माना जाता है।
लेखक इसे एक ऑपरेशन प्रूफ मानते हैं, यह स्थापित करते हुए कि फ्रोजन सब्सट्रेट सीखे गए नियंत्रणों की तरह ही क्लास जनरेशन को निर्देशित कर सकता है, और भविष्य का कार्य लंबे प्रशिक्षण के माध्यम से गुणवत्ता में सुधार पर केंद्रित है।