新しい理論的枠組みにより、離散拡散モデルにおける負のELBO（Evidence Lower Bound）は、単なる境界ではなく、データエントロピーとオラクル逆プロセスからのパスKL発散に正確に等しいことが示された。この「Oracle Distance」定理は、唯一の最適化子を、現在のノイズ状態が与えられた真の逆ジャンプ率の条件付き期待値として特定する。

  • トレーニングの削減不可能なコストは、前方プロセスがクリーンなデータに関する情報を破壊する速度として定義される。
  • トークン因子化ノイズの場合、最適化子には3つの正確な座標が存在し、それぞれデノイザー、キャビティ（ブリッジプラグイン）、スコアであり、これら間には閉じた形式の変換が可能である。
  • この枠組みはMDM、UDM、SEDD、GIDDを特殊ケースとして回復し、マスキング拡散ではデノイザーとキャビティのパラメータが一致するが、一様拡散では一致しない理由を説明する。
  • デノイザーパラメータ化が一様ELBOの初期化時に発散を引き起こす一方で、ブリッジプラグインは有限値を保つことを証明する。

本研究は、初期化時のELBO実装の正確なキャリブレーションを提供し、各既存の損失関数が最適化する基礎的な法則を明確にする。