llama.cpp b9789 रिलीज में MoE क्वांटीकरण की मरम्मत और बहु-प्लेटफ़ॉर्म बाइनरीज़ प्रदान की गई
llama.cpp परियोजना ने संस्करण b9789 जारी किया है, जिसमें मल्टी-टोकन भविष्यवाणी के साथ मिक्सचर ऑफ एक्सपर्ट्स (MoE) मॉडल्स को क्वांटाइज़ करने के लिए एक महत्वपूर्ण मरम्मत शामिल है। यह अपडेट पुल अनुरोध #24986 में पहचाने गए मुद्दों को दूर करता है ताकि इन विशिष्ट मॉडल आर्किटेक्चर्स का उचित प्रबंधन सुनिश्चित किया जा सके। इस रिलीज में macOS Apple Silicon और Intel के लिए पूर्व-बिल्ड बाइनरीज़, साथ ही एक iOS XCFramework प्रदान करता है। Linux उपयोगकर्ता CPU, Vulkan, ROCm 7.2, OpenVINO, और SYCL बैकएंड्स के लिए Ubuntu पर बिल्ड डाउनलोड कर सकते हैं। Windows समर्थन में CPU, CUDA 12.4 और 13.3, Vulkan, OpenVINO, SYCL, और HIP वेरिएंट शामिल हैं। अतिरिक्त प्लेटफ़ॉर्म जैसे Android arm64 और openEuler भी विशिष्ट हार्डवेयर कॉन्फ़िगरेशन के साथ समर्थित हैं।