Un nouveau cadre théorique établit que la borne inférieure négative de l'ELBO (Evidence Lower Bound) dans les modèles de diffusion discrets est exactement égale à l'entropie des données plus la divergence KL du chemin depuis le processus inverse oracle, plutôt que de servir simplement de borne. Ce théorème « Oracle Distance » identifie l'optimiseur unique comme l'espérance conditionnelle du vrai taux de saut inverse étant donné l'état bruité actuel.
- Le coût irréductible de l'entraînement est défini comme le rythme auquel le processus direct détruit l'information sur les données propres.
- Pour le bruit à factorisation par token, l'optimiseur possède trois coordonnées exactes : débruiteur, cavité (plug-in de pont) et score, avec des conversions à forme fermée entre eux.
- Le cadre récupère MDM, UDM, SEDD et GIDD comme cas particuliers et explique pourquoi les paramètres du débruiteur et de la cavité coïncident pour la diffusion masquée mais pas pour la diffusion uniforme.
- Il prouve qu'une paramétrisation du débruiteur provoque la divergence de l'ELBO uniforme à l'initialisation, tandis que le plug-in de pont reste fini.
Ce travail fournit une calibration exacte des implémentations de l'ELBO à l'initialisation et clarifie quelle loi sous-jacente chaque fonction de perte existante optimise.