像ELF这样的连续扩散语言模型实现了创纪录的低生成困惑度（Gen-PPL），但遭受着Gen-PPL错误奖励的过度重复问题。作者将这个问题识别为自条件反馈循环中沿单一方向的收缩吸引子，并提出ACE（Attractor-Contrast-Escape）来减去它。

  • ACE在每个步骤从反馈中减去一个无标签方向，该方向在105M模型上估计一次。
  • 该方法将重复率降低至接近人类水平，同时在342M和652M模型以及各种采样器上保持竞争性质量。
  • 由于Gen-PPL奖励重复，作者测量生成人类干净文本的计算效率，发现ACE便宜1.5–5倍。

该研究表明，低困惑度分数可能通过掩盖重复行为而夸大模型质量，并提供了一种特定维度的修复方法，在不显著增加计算开销的情况下提高文本自然度。