В данной работе представлена единая концептуальная основа для дискретных моделей денoising-диффузии (DDM), рассматривающая их через призму построения их базового дискретного пространства состояний. Показано, как существующие формулировки, включая подходы на основе матрицы переходов, маскирования/поглощающих состояний и оценки/отношения, возникают как различные реализации общего пространства дизайна.
- Основа подчеркивает, как DDM фундаментально формируются схемами токенизации, топологией словаря и специфичными для домена структурными алфавитами.
- Она выявляет общие компромиссы в дизайне между целями обучения, алгоритмами вывода, поведением при масштабировании, оптимизацией систем и протоколами оценки.
- Авторы предлагают несколько перспективных направлений для будущих исследований на основе этих выявленных компромиссов.