Model bahasa difusi kontinu seperti ELF mencapai perplexitas generatif (Gen-PPL) terendah yang pernah dicatat, tetapi menderita pengulangan berlebihan yang secara keliru dihargai oleh Gen-PPL. Penulis mengidentifikasi masalah ini sebagai atraktor kontraktif sepanjang satu arah dalam loop umpan balik kondisional-diri dan mengusulkan ACE (Attractor-Contrast-Escape) untuk mengurangnya.
- ACE mengurangi satu arah bebas-label dari umpan balik pada setiap langkah, yang diestimasi sekali pada model 105M.
- Metode ini memangkas pengulangan hingga tingkat manusia sambil mempertahankan kualitas yang kompetitif di seluruh model 342M dan 652M serta berbagai sampler.
- Karena Gen-PPL menghargai pengulangan, penulis mengukur efisiensi komputasi untuk menghasilkan teks bersih manusia, menemukan bahwa ACE 1,5–5x lebih murah.
Studi ini menunjukkan bahwa skor perplexitas rendah dapat melebih-lebihkan kualitas model dengan menyembunyikan perilaku berulang, dan menawarkan perbaikan spesifik dimensi untuk meningkatkan kealamian teks tanpa overhead komputasi yang signifikan.