llama.cpp प्रोजेक्ट ने संस्करण b10355 जारी किया, जिसमें बहु-आउटपुट बैकएंड सैंपलिंग के लिए समर्थन पेश किया गया है। इस अपडेट से टोकन अनुमान के साथ बैकएंड सैंपलिंग को सक्षम किया जाता है और एक अनुक्रम के लिए अधिकतम आउटपुट की घोषणा करने के लिए एक संख्यात्मक संदर्भ पैरामीटर जोड़ा गया है।
- टोकन अनुमान के साथ बैकएंड सैंपलिंग सक्षम करें
- इसे सैंपल किए गए इंडेक्स में बदलने से पहले मास्क योग को सीमित करें
- एक संख्यात्मक संदर्भ पैरामीटर जोड़ें जो एक अनुक्रम के लिए अधिकतम आउटपुट की घोषणा करता है
- CPU और बैकएंड सैंपलिंग के बीच असंगतताओं को ठीक करें और CPU और GPU के बीच वितरण (dist) को मेल दें
- परिवर्तनों को सरल बनाएं और Vulkan पर परीक्षणों को ठीक करें
रिलीज में CPU, CUDA, ROCm, OpenVINO, SYCL, HIP और Vulkan सहित विभिन्न हार्डवेयर बैकएंड्स के लिए macOS, iOS, Linux, Android, Windows और openEuler के लिए बाइनरी प्रदान करती है।