llama.cpp परियोजना ने build b10414 जारी किया, जिसमें Metal बैकएंड के लिए GGML_TYPE_TQ2_0 टर्नरी क्वांटाइज़ेशन प्रकार का समर्थन पेश किया गया है। इस अपडेट में सतत टेन्सर (cont) mul_mv kernel के लिए अनुकूलन भी शामिल हैं।
- Metal बैकएंड में GGML_TYPE_TQ2_0 (टर्नरी, प्रति तत्व 2 बिट) समर्थन जोड़ा गया।
- पूर्णांक से फ्लोट ऑपरेशन में बदलकर mul_mv kernel का अनुकूलन किया गया।
- पूर्व-गणना की गई योग, उठाए गए गुणांकों और सतत y लोड के माध्यम से प्रदर्शन में सुधार।
इस रिलीज़ में CPU, CUDA, Vulkan, ROCm और SYCL सहित विभिन्न हार्डवेयर बैकएंड के लिए macOS, Linux, Windows, Android और openEuler के लिए अपडेटेड बाइनरी प्रदान की गई हैं।