Un nuevo marco teórico establece que el Límite Inferior de Evidencia (ELBO) negativo en los modelos de difusión discreta es exactamente igual a la entropía de los datos más la divergencia KL del camino desde el proceso inverso oracle, en lugar de servir meramente como un límite. Este teorema de "Distancia Oracle" identifica al optimizador único como la esperanza condicional de la tasa de salto inversa verdadera dada el estado ruidoso actual.
- El costo irreducible del entrenamiento se define como la tasa a la que el proceso directo destruye la información sobre los datos limpios.
- Para el ruido factorizable por token, el optimizador tiene tres coordenadas exactas: denoiser, cavity (plug-in de puente) y score, con conversiones de forma cerrada entre ellas.
- El marco recupera MDM, UDM, SEDD y GIDD como casos especiales y explica por qué los parámetros de denoiser y cavity coinciden para la difusión enmascarada pero no para la difusión uniforme.
- Demuestra que una parametrización de denoiser causa que el ELBO uniforme diverja en la inicialización, mientras que el plug-in de puente permanece finito.
Este trabajo proporciona la calibración exacta de las implementaciones de ELBO en la inicialización y aclara qué ley subyacente optimiza cada función de pérdida existente.