llama.cpp परियोजना ने बिल्ड b10868 जारी किया है, जो Mixture of Experts (MoE) मॉडलों के लिए IQ प्रकार हैंडलिंग पेश करता है।
- pull request #28476 के माध्यम से MoE आर्किटेक्चर में IQ क्वांटीज़ेशन प्रकारों के लिए समर्थन जोड़ा गया है।
- macOS (Apple Silicon और Intel), Linux (CPU, Vulkan, ROCm, OpenVINO, SYCL), Windows (CPU, CUDA 12/13, Vulkan, OpenCL, ROCm, SYCL), Android, और openEuler के लिए बाइनरी प्रदान करता है।
- iOS XCFramework समर्थन और एक स्टैंडअलोन UI पैकेज शामिल है।
इस अपडेट से उपयोगकर्ताओं को हार्डवेयर प्लेटफॉर्म की एक व्यापक श्रृंखला पर विशिष्ट IQ क्वांटीज़ेशन प्रकारों के साथ MoE मॉडल चलाने की सुविधा मिलती है।