एक नया सैद्धांतिक ढांचा स्थापित करता है कि डिसक्रिट डिफ्यूजन मॉडल्स में नेगेटिव इविडेंस लोअर बाउंड (ELBO) डेटा एन्ट्रॉपी और ऑरेकल रिवर्स प्रोसेस से पथ KL डाइवर्जेंस के बराबर है, न कि केवल एक बाउंड के रूप में कार्य करता है। यह "ऑरेकल डिस्टेंस" प्रमेय अनन्य ऑप्टिमाइज़र को वर्तमान नॉइजी स्टेट दी गई सच्चे रिवर्स जंप रेट की कंडीशनल एक्सपेक्टेशन के रूप में पहचानता है।
- ट्रेनिंग का अपरिहार्य खर्च इस दर के रूप में परिभाषित किया गया है जिस पर फॉरवर्ड प्रोसेस क्लीन डेटा के बारे में जानकारी को नष्ट करता है।
- टोकन-फैक्टराइजिंग नॉइज़ के लिए, ऑप्टिमाइज़र के तीन सटीक निर्देशांक होते हैं: डीनोइजर, कैविटी (ब्रिज प्लग-इन), और स्कोर, जिनके बीच बंद-फॉर्म रूपांतरण होते हैं।
- ढांचा MDM, UDM, SEDD, और GIDD को विशेष मामलों के रूप में पुनः प्राप्त करता है और समझाता है कि मास्क्ड डिफ्यूजन के लिए डीनोइजर और कैविटी पैरामीटर क्यों सहमत होते हैं लेकिन यूनिफॉर्म डिफ्यूजन के लिए नहीं।
- यह सिद्ध करता है कि एक डीनोइजर पैरामिटाइज़ेशन इनिशियलाइजेशन पर यूनिफॉर्म ELBO को अपसरित (diverge) होने का कारण बनता है, जबकि ब्रिज प्लग-इन परिमित रहता है।
यह कार्य इनिशियलाइजेशन पर ELBO कार्यान्वयनों की सटीक कैलिब्रेशन प्रदान करता है और स्पष्ट करता है कि प्रत्येक मौजूदा लॉस फंक्शन किस अंतर्निहित नियम को ऑप्टिमाइज़ करता है।