这项工作为离散去噪扩散模型(DDM)引入了一个统一的概念框架,通过构建其底层离散状态空间来审视它们。它展示了现有的公式化方法,包括转移矩阵、掩码/吸收态以及分数/比率方法,如何作为共同设计空间的不同实例出现。

  • 该框架强调了 DDM 如何从根本上由分词方案、词汇拓扑和领域特定的结构字母表塑造。
  • 它揭示了训练目标、推理算法、扩展行为、系统优化和评估协议之间常见的设计权衡。
  • 作者基于这些揭示的权衡,提出了几个有前景的未来研究方向。