llama.cpp प्रोजेक्ट ने संस्करण b9885 जारी किया, जिसमें टाइल्ड मैट्रिक्स मल्टीप्लिकेशन को सक्षम करके AIX प्लेटफ़ॉर्म के लिए एक महत्वपूर्ण सुधार शामिल है। यह बदलाव matmul_tiled पथ में बड़े बफ़र्स से होने वाले सेगमेंटेशन फ़ॉल्टों को रोकने के लिए स्थानीय स्टैक बफ़र फुटप्रिंट को कम करता है।
- AIX पर FP32, Q4_0 और Q8_0 मॉडल्स के लिए PP_Speed में लगभग 2x की प्रदर्शन सुधार देखे गए।
- इस रिलीज़ में macOS (Apple Silicon और Intel), Linux (Ubuntu x64, arm64, s390x), Windows (CPU, CUDA, Vulkan, ROCm आदि), Android और openEuler के लिए बाइनरी प्रदान किए गए हैं।
- इस बिल्ड में macOS Apple Silicon के लिए KleidiAI समर्थन अक्षम है।
यह अपडेट AIX सिस्टम पर स्थिरता सुनिश्चित करता है साथ ही समर्थित क्वांटीज़ेशन फॉर्मेट्स के लिए महत्वपूर्ण इनफ़रेंस गति में वृद्धि प्रदान करता है।