llama.cpp परियोजना ने बिल्ड b11368 जारी किया, जिसमें साधारन ड्राफ्ट और MTP (Multi-Token Prediction) कार्यप्रवाहों के लिए प्रायिकता नमूनाकरण पेश किया गया है। यह अपडेट ड्राफ्टिंग तंत्र को संशोधित करता है ताकि अस्वीकृति नमूनाकरण द्वारा लक्ष्यों की सत्यापन करते समय प्रायिकता चयन का उपयोग किया जा सके।

  • ड्राफ्टर अब प्रायिकता नमूनाकरण का उपयोग करता है, जिसमें लक्ष्य सत्यापन अस्वीकृति नमूनाकरण द्वारा संभाला जाता है।
  • ड्राफ्टिंग प्रक्रिया शुरू होने से पहले पुराने spec_draft_q बफरों को छोड़ दिया जाता है।
  • व्याकरण-बाधित अनुरोध अब अस्वीकृति नमूनाकरण और argmax नमूनाकरण पर वापस आने का समर्थन करते हैं।
  • एक नया फ्लैग प्रायिकता ड्राफ्ट नमूनाकरण को सक्षम करता है, जो डिफ़ॉल्ट रूप से greedy व्यवहार की ओर जाता है।
  • ड्राफ्ट सैंपलर अब लक्ष्य के RNG स्ट्रीम को साझा नहीं करता है, और मास्किंग के बाद वितरण पुनः सामान्यीकृत किए जाते हैं।

इस रिलीज़ में macOS, Linux, Windows, Android और openEuler के लिए विभिन्न हार्डवेयर बैकएंड जैसे CUDA, ROCm, Vulkan, OpenVINO और SYCL के लिए बाइनरी प्रदान की गई हैं।