IceFog72 ने llama.cpp के लिए एक प्रयोगात्मक "scatter" सैम्पलर लागू किया है जो शीर्ष उम्मीदवारों के बीच अगले टोकन की प्रायिकता वितरण को स्थानीय रूप से मृदु करता है। यह दृष्टिकोण वितरण की गहरी पूंछ से शोर पेश किए बिना जनरेशन की कठोरता को कम करने का लक्ष्य रखता है।
- सैम्पलर टोकन रैंक पर एक स्थानीय विसरण चरण का उपयोग करता है, जो पास के रैंकों को प्रायिकता द्रव्यमान आदान-प्रदान करने देता है जबकि फ़िल्टर किए गए उम्मीदवार सेट को बनाए रखता है।
- यह डिफ़ॉल्ट सैम्पलर चेन में "xtc" और "temperature" के बीच स्थित है लेकिन डिफ़ॉल्ट रूप से अक्षम है।
- सुविधाओं में एंट्रोपी फीडबैक पर आधारित स्थिर या अनुकूली प्रकीर्णन शक्ति, वैकल्पिक दोहराए गए टोकन अवशोषण, और टकराव गेटिंग शामिल हैं।
- कार्यान्वयन में llama.cpp फ्रेमवर्क के भीतर नेटिव API फ़ंक्शन और अपरिवर्तनीय परीक्षण शामिल हैं।
यह उपकरण तापमान बढ़ाने के लिए एक अधिक स्थानीय विकल्प प्रदान करता है, कमजोर पूंछ टोकन द्वारा कारण होने वाले असंगत छलांगों से बचते हुए टेस्ट जनरेशन विविधता पर सूक्ष्म नियंत्रण प्रदान करता है।