ELF जैसे निरंतर विसरण भाषा मॉडल रिकॉर्ड-निम्न जनरेटिव परप्लेक्सिटी (Gen-PPL) प्राप्त करते हैं लेकिन Gen-PPL गलत तरीके से पुरस्कृत करने वाली अत्यधिक पुनरावृत्ति से ग्रस्त हैं। लेखकों ने इस समस्या को स्व-शर्त फीडबैक लूप में एक ही दिशा के अनुदिष संकुचित आकर्षक के रूप में पहचाना है और इसे घटाने के लिए ACE (Attractor-Contrast-Escape) का प्रस्ताव दिया है।
- ACE प्रत्येक चरण में फीडबैक से एक लेबल-रहित दिशा घटाता है, जिसका अनुमान 105M मॉडल पर एक बार लगाया जाता है।
- विधि पुनरावृत्ति को मानवीय स्तर के करीब कम कर देती है जबकि 342M और 652M मॉडल और विभिन्न सैम्पलर्स के लिए प्रतिस्पर्धी गुणवत्ता बनाए रखती है।
- चूंकि Gen-PPL पुनरावृत्ति को पुरस्कृत करता है, लेखकों ने मानव-शुद्ध पाठ उत्पन्न करने के लिए कंप्यूटेशनल दक्षता मापी, और पाया कि ACE 1.5–5x सस्ता है।
अध्ययन दिखाता है कि निम्न परप्लेक्सिटी स्कोर मॉडल गुणवत्ता का अतिआकलन कर सकते हैं पुनरावृत्त व्यवहार को छिपाकर, और महत्वपूर्ण कंप्यूटेशनल ओवरहेड के बिना पाठ की प्राकृतिकता को बेहतर बनाने के लिए एक आयाम-विशिष्ट समाधान प्रदान करता है।