L'article présente DiScoFormer, un modèle de transformateur unifié capable d'effectuer à la fois l'estimation de densité et des tâches de génération basées sur le score sur diverses distributions de données.
- Le modèle utilise une seule architecture pour gérer simultanément plusieurs objectifs de modélisation générative.
- Il démontre son efficacité sur différents types de distributions de données sans nécessiter de modèles spécialisés distincts.
- L'approche vise à rationaliser le pipeline de modélisation générative en consolidant des tâches distinctes dans un seul cadre.