Ce travail présente un cadre conceptuel unifié pour les modèles de diffusion de désbruitage discrets (DDMs) qui les envisage à travers la construction de leur espace d'état discret sous-jacent. Il démontre comment les formulations existantes, y compris les approches par matrice de transition, masquage/état absorbant et score/ratio, émergent comme différentes instanciations d'un espace de conception commun.
- Le cadre met en évidence comment les DDMs sont fondamentalement façonnés par les schémas de tokenisation, la topologie du vocabulaire et les alphabets structurels spécifiques au domaine.
- Il expose les compromis de conception communs à travers les objectifs d'entraînement, les algorithmes d'inférence, le comportement de mise à l'échelle, l'optimisation des systèmes et les protocoles d'évaluation.
- Les auteurs suggèrent plusieurs directions prometteuses pour la recherche future basées sur ces compromis exposés.