Новая теоретическая рамка устанавливает, что отрицательная нижняя граница правдоподобия (ELBO) в дискретных диффузионных моделях в точности равна энтропии данных плюс расхождение Кульбака-Лейблера пути от оракульного обратного процесса, а не просто служит верхней границей. Эта теорема «Оракульное расстояние» определяет уникальный оптимизатор как условное ожидание истинной скорости обратного перехода при заданном текущем зашумлённом состоянии.
- Неустранимая стоимость обучения определяется как скорость, с которой прямой процесс разрушает информацию о чистых данных.
- Для шума, факторизующего токены, оптимизатор имеет три точные координаты: денoiser, полость (bridge plug-in) и скор, с замкнутыми преобразованиями между ними.
- Рамка восстанавливает MDM, UDM, SEDD и GIDD как частные случаи и объясняет, почему параметры denoiser и cavity совпадают для маскированной диффузии, но не для равномерной диффузии.
- Доказывается, что параметризация denoiser приводит к расходимости равномерного ELBO при инициализации, тогда как bridge plug-in остаётся конечным.
Эта работа обеспечивает точную калибровку реализаций ELBO при инициализации и проясняет, какой фундаментальный закон оптимизирует каждая существующая функция потерь.