llama.cpp प्रोजेक्ट ने संस्करण b11195 जारी किया, जिसमें CPU बैकएंड के लिए k-quants का एक टाइल्ड मैट्रिक्स गुणा कार्यान्वयन शामिल है। इस बदलाव से क्वांटाइज्ड डेटा को 256x256 int8 टाइल्स में अनपैक किया जाता है और बड़े मैट्रिक्स संचालनों पर प्रदर्शन सुधारने के लिए माइक्रोकर्नेल का उपयोग करके परिणाम की गणना की जाती है।
- टाइल्ड mul_mat बड़े मैट्रिक्स गुणाओं के लिए 3-6x गति में सुधार प्रदान करता है, जिसमें 4096x64 * 64x4096 आयामों पर समानता बिंदु होता है।
- त्रुटि दरें नगण्य बनी हुई हैं, अधिकतम त्रुटियां लगभग 1-e04 और RMSE लगभग 1-e05 के आसपास है।
- इस रिलीज में ARM और विंडोज़ बिल्ड्स के लिए सुधार, Q5_K और IQ4_XS बेंचमार्क्स के लिए एकत्रीकृत IQP समर्थन, और अनुकूलित AVX2 कर्नेल शामिल हैं।
अपडेट से सपोर्टेड प्लेटफॉर्म पर संख्यात्मक सटीकता बनाए रखते हुए बड़े मैट्रिक्स संचालनों के लिए इनफरेंस गति में सुधार होता है।