llama.cpp परियोजना ने संस्करण b10206 जारी किया है, जिसने ध्यान तंत्रों में कुंजी-मूल्य कैश के हैंडलिंग में विशिष्ट बदलाव पेश किए हैं। अपडेट सुनिश्चित करता है कि DeepSeek V4 मॉडलों के लिए K और V कैश प्रकार स्थिर रहें।

  • DeepSeek V4 आर्किटेक्चर के लिए समान K और V कैश प्रकारों को लागू करता है।
  • जब V कैश क्वांटाइज्ड होता है तो Flash Attention (FA) सक्षम बनाता है।
  • अन्य MLA मॉडलों पर भी समान K और V कैश प्रकार लागू करता है।

इस रिलीज़ में CPU, CUDA, ROCm, Vulkan, OpenVINO, SYCL और OpenCL सहित विभिन्न हार्डवेयर बैकएंड्स के लिए macOS, Linux, Windows, Android और openEuler के लिए बाइनरी प्रदान करता है।