llama.cpp प्रोजेक्ट ने संस्करण b10538 जारी किया है, जिसने metal बैकएंड में एक प्रमुख अनुकूलन पेश किया है। यह अपडेट केवल बड़े बैच आकारों के लिए कुंजी-मान (KV) कैश के डीक्वांटाइज़ेशन को सक्षम बनाता है।

  • प्राथमिक परिवर्तन metal बैकएंड में है, जो अब केवल बड़े बैचों को प्रोसेस करते समय डीक्वांटाइज़्ड KV कैशिंग लागू करता है।
  • macOS (Apple Silicon और Intel), iOS, Linux (CPU, Vulkan, OpenVINO, SYCL), Android, Windows (CPU, CUDA 12/13, Vulkan, OpenVINO, SYCL, ROCm) और openEuler के लिए बाइनरी उपलब्ध हैं।
  • इस रिलीज में macOS Apple Silicon पर KleidiAI समर्थन और Ubuntu पर ROCm 7.14 अक्षम कर दिया गया है।

यह अनुकूलन संगत हार्डवेयर पर बड़े बैच आकारों वाले कार्यभार के लिए मेमोरी दक्षता या प्रदर्शन को बेहतर बनाने का लक्ष्य रखता है।