一个新的理论框架确立了，在离散扩散模型中，负证据下界（ELBO）恰好等于数据熵加上来自 Oracle 反向过程的路径 KL 散度，而不仅仅是一个界限。该“Oracle Distance”定理将唯一优化器识别为给定当前噪声状态时真实反向跳跃速率的条件期望。

  • 训练的不可约成本被定义为前向过程破坏干净数据信息的速率。
  • 对于令牌分解噪声，优化器具有三个精确坐标：去噪器、空腔（桥接插件）和得分函数，它们之间具有闭式转换关系。
  • 该框架将 MDM、UDM、SEDD 和 GIDD 恢复为特例，并解释了为什么在掩码扩散中但不在均匀扩散中，去噪器和空腔参数重合。
  • 它证明了去噪器参数化会导致均匀 ELBO 在初始化时发散，而桥接插件保持有限。

这项工作提供了 ELBO 实现在初始化时的精确校准，并阐明了每个现有损失函数优化的是哪个底层定律。