Kerangka teoretis baru menetapkan bahwa batas bawah negatif ELBO (Evidence Lower Bound) dalam model difusi diskrit sama persis dengan entropi data ditambah divergensi KL jalur dari proses balik oracle, bukan hanya berfungsi sebagai batas. Teorema "Oracle Distance" ini mengidentifikasi pengoptimal unik sebagai ekspektasi bersyarat dari laju lompatan balik sejati mengingat keadaan berisik saat ini.
- Biaya pelatihan yang tidak dapat dikurangi didefinisikan sebagai laju di mana proses maju menghancurkan informasi tentang data bersih.
- Untuk noise faktorisasi token, pengoptimal memiliki tiga koordinat tepat: denoiser, cavity (plug-in jembatan), dan skor, dengan konversi bentuk tertutup di antaranya.
- Kerangka kerja ini memulihkan MDM, UDM, SEDD, dan GIDD sebagai kasus khusus dan menjelaskan mengapa parameter denoiser dan cavity bertepatan untuk difusi termaskir tetapi tidak untuk difusi seragam.
- Ini membuktikan bahwa parametrisasi denoiser menyebabkan ELBO seragam menyimpang pada inisialisasi, sedangkan plug-in jembatan tetap hingga.
Karya ini memberikan kalibrasi tepat untuk implementasi ELBO pada inisialisasi dan memperjelas hukum dasar mana yang dioptimalkan oleh setiap fungsi kerugian yang ada.