Los modelos de lenguaje de difusión continua como ELF logran una perplejidad generativa (Gen-PPL) mínimas récord, pero sufren de repetición excesiva que Gen-PPL recompensa erróneamente. Los autores identifican este problema como un atractor contractivo a lo largo de una sola dirección en el bucle de retroalimentación del autocondicionamiento y proponen ACE (Attractor-Contrast-Escape) para restarlo.
- ACE resta una única dirección sin etiquetas de la retroalimentación en cada paso, estimada una vez en el modelo 105M.
- El método reduce la repetición a niveles cercanos al humano mientras mantiene una calidad competitiva en los modelos 342M y 652M y varios muestreadores.
- Dado que Gen-PPL recompensa la repetición, los autores miden la eficiencia computacional para producir texto limpio humano, encontrando que ACE es de 1.5 a 5 veces más económico.
El estudio demuestra que las puntuaciones bajas de perplejidad pueden sobreestimar la calidad del modelo enmascarando el comportamiento repetitivo, y ofrece una solución específica por dimensión para mejorar la naturalidad del texto sin sobrecarga computacional significativa.