ELFのような連続拡散言語モデルは、生成パープレキシティ（Gen-PPL）において記録的な低値を達成しているが、Gen-PPLが誤って報酬を与える過度な反復に悩まされている。著者らは、この問題を自己条件付けフィードバックループ内の単一方向に沿う収束型吸引子として特定し、それを減算するACE（Attractor-Contrast-Escape）を提案した。

  • ACEは各ステップのフィードバックからラベルフリーな単一方向を減算し、これは105Mモデル上で一度推定される。
  • この手法は、342Mおよび652Mモデルや様々なサンプリラーにわたって競争力のある品質を維持しつつ、反復を人間レベルに近いまで削減する。
  • Gen-PPLが反復を報酬とするため、著者らは人間が清書したテキストの生成における計算効率を測定し、ACEは1.5〜5倍安価であることを発見した。

本研究は、低いパープレキシティスコアが反復行動を隠蔽することでモデル品質を過大評価できることを示し、大きな計算オーバーヘッドなしにテキストの自然さを改善する次元固有の解決策を提供する。