llama.cpp प्रोजेक्ट ने संस्करण b10246 जारी किया, जिसमें विशिष्ट मॉडल कॉन्फ़िगरेशन के लिए OpenCL प्रदर्शन में सुधार शामिल है। अपडेट एक समस्या को हल करता है जहां मूल आयामी शर्त बड़े वजन को संभालने के लिए पर्याप्त नहीं थी।

  • बड़े q6_K lm_head टेन्सर को gemv_noshuffle के बजाय फ्लैट GEMV में रूट करता है।
  • gemma-4 E2B जैसे मॉडल के साथ धीमी गति को रोकने के लिए एक सीधा आकार शर्त जोड़ता है, जिसके आयाम [1536, 262144] हैं।
  • macOS (Apple Silicon और Intel), Linux (CPU, Vulkan, ROCm, OpenVINO, SYCL), Android, Windows (CPU, CUDA, Vulkan, OpenVINO, SYCL, HIP) और openEuler के लिए बाइनरी प्रदान करता है।

यह बदलाव सुनिश्चित करता है कि बड़े वजन मैट्रिक्स को OpenCL डिवाइस पर कुशलता से संसाधित किया जाए बिना प्रदर्शन बोतल-गले को ट्रिगर किए।