llama.cpp प्रोजेक्ट ने संस्करण b10242 जारी किया, जिसमें दंडों के लिए एक नया बैकएंड सैम्पलर पेश किया गया है जो दंड हैंडलिंग को GPU पर ऑफलोड करने की अनुमति देता है। यह बदलाव `common_sampler_init` फ़ंक्शन में सुधार करता है और `llama_sampler_penalties` संरचना को `llama_sampler_backend` से विरासत में लेने के लिए अपडेट करता है, जिससे बैकएंड पर आवृत्ति और उपस्थिति समायोजन सक्षम होते हैं।
- कार्यान्वयन में बैकएंड प्रारंभीकरण, दंडों के अनुप्रयोग, और बैकएंड सैम्पलिंग में शीर्ष-k दंडों के लिए समर्थन शामिल है।
- नमूनीकरण के दौरान NaN उत्पन्न होने से बचने के लिए मैस्क्ड लॉगिट्स को -Inf के रूप में संरक्षित रखकर संख्यात्मक स्थिरता में सुधार किया गया है।
- वैधता जांच सुनिश्चित करती है कि दोहराव दंड मान परिमित और 0 से अधिक हैं, जिसमें अमान्य पैरामीटरों के लिए परीक्षण जोड़े गए हैं।
- इस रिलीज में macOS (Apple Silicon और Intel), Linux (CPU, Vulkan, ROCm, OpenVINO, SYCL), Android, Windows (CPU, CUDA 12/13, Vulkan, OpenCL, HIP, OpenVINO, SYCL), और openEuler आर्किटेक्चर के लिए बाइनरी प्रदान किए गए हैं।