Modelos de linguagem de difusão contínua como ELF alcançam perplexidade generativa (Gen-PPL) recorde baixa, mas sofrem com repetição excessiva que Gen-PPL recompensa erroneamente. Os autores identificam esse problema como um atrator contrativo ao longo de uma única direção no loop de feedback de autocondicionamento e propõem ACE (Attractor-Contrast-Escape) para subtraí-lo.

  • ACE subtrai uma única direção sem rótulo do feedback em cada etapa, estimada uma vez no modelo 105M.
  • O método corta a repetição para níveis próximos aos humanos enquanto mantém qualidade competitiva nos modelos 342M e 652M e vários samplers.
  • Como Gen-PPL recompensa a repetição, os autores medem eficiência computacional para produzir texto limpo humano, encontrando que ACE é de 1.5–5x mais barato.

O estudo demonstra que pontuações baixas de perplexidade podem superestimar a qualidade do modelo mascarando comportamento repetitivo, e oferece uma correção específica por dimensão para melhorar a naturalidade do texto sem sobrecarga computacional significativa.