Les modèles de langage à diffusion continue comme ELF atteignent une perplexité générative (Gen-PPL) record basse, mais souffrent de répétitions excessives que la Gen-PPL récompense à tort. Les auteurs identifient ce problème comme un attracteur contractif le long d'une seule direction dans la boucle de rétroaction d'auto-conditionnement et proposent ACE (Attractor-Contrast-Escape) pour le soustraire.
- ACE soustrait une direction unique, sans étiquette, de la rétroaction à chaque étape, estimée une fois sur le modèle 105M.
- La méthode réduit les répétitions au niveau humain tout en maintenant une qualité compétitive sur les modèles 342M et 652M et divers échantillonneurs.
- Comme la Gen-PPL récompense la répétition, les auteurs mesurent l'efficacité du calcul pour produire du texte proprement humain, découvrant qu'ACE est 1,5 à 5 fois moins cher.
L'étude démontre que de faibles scores de perplexité peuvent surestimer la qualité du modèle en masquant le comportement répétitif, et offre une correction spécifique aux dimensions pour améliorer la naturalité du texte sans surcharge computationnelle significative.