llama.cpp परियोजना ने संस्करण b10690 जारी किया है, जिसमें अक्वांटाइज्ड की-वैल्यू कैशे के लिए एक महत्वपूर्ण सुधार शामिल है। यह अपडेट संदर्भ परिवर्तन के दौरान होने वाले क्रैश को रोकता है, यह सुनिश्चित करके कि Hadamard मैट्रिक्स को k टेंसर में तभी कॉपी किया जाए जब इसे एक असाइन किए गए बफर के साथ हो।

  • शर्तवार रूप से Hadamard मैट्रिक्स को कॉपी करके संदर्भ परिवर्तन के दौरान अक्वांटाइज्ड K कैशे में क्रैश को ठीक करता है
  • macOS (Apple Silicon और Intel), iOS, Linux (CPU, Vulkan, ROCm, OpenVINO, SYCL), Windows (CPU, CUDA, Vulkan, OpenVINO, SYCL, ROCm), Android, और openEuler के लिए बाइनरी प्रदान करता है
  • रिलीज़ के लिए UI अपडेट और प्रमाणन शामिल हैं