एक उपयोगकर्ता ने llama.cpp का एक फ़ोर्क जारी किया है जिसमें एक प्रायोगिक लूप डिटेक्शन सैम्पलर शामिल है जो इनफरेंस के दौरान दोहराए जाने वाले टोकन चक्रों की पहचान करने और तोड़ने के लिए बनाया गया है। यह नया कंपोजेबल सैम्पलर रियल-टाइम में जनरेट किए गए टोकन स्ट्रीम की निगरानी करता है, सटीक दोहराए जाने वाले पैटर्न का पता लगाता है और लूप को तोड़ने के लिए अस्थायी रूप से सैम्पलिंग तापमान बढ़ा देता है।
- सैम्पलर डिटेक्शन संवेदनशीलता को परिभाषित करने के लिए last_n (डिफ़ॉल्ट 64), min_pattern_len (डिफ़ॉल्ट 3) और min_reps (डिफ़ॉल्ट 3) जैसे पैरामीटर का उपयोग करता है।
- जब एक लूप का पता लगाया जाता है, तो यह यादृच्छिकता बढ़ाने और मॉडल को चक्र से बाहर धकेलने के लिए तापमान गुणक (temp_factor) लागू करता है।
- कॉन्फ़िगरेशन CLI फ्लैग्स, llama-server के लिए JSON API, या C API सैम्पलर चेन के माध्यम से प्रोग्रामेटिक रूप से उपलब्ध है।
- कार्यान्वयन लूप को जल्दी पकड़ने और वैध दोहराए जाने वाले वाक्यांशों पर गलत सकारात्मकता से बचने के बीच संतुलन बनाने के लिए ट्यूनिंग की अनुमति देता है।