llama.cpp परियोजना ने संस्करण b10984 जारी किया, जिसमें row-contiguous SUM_ROWS संचालन के लिए CUDA समर्थन पेश किया गया है। इस अपडेट में कोड को व्यवस्थित करके GGML_OP_MEAN को शामिल किया गया है ताकि एक साझा kernel के माध्यम से row-contiguous tensors को संभाला जा सके।

  • row-contiguous SUM_ROWS के लिए CUDA समर्थन जोड़ा गया।
  • एक साझा kernel का उपयोग करके row-contiguous tensors के लिए GGML_OP_MEAN जोड़ने के लिए कोड व्यवस्थित किया गया।
  • MEAN permute और slice संचालनों के लिए परीक्षण शामिल किए गए।
  • CPU, CUDA, Vulkan, ROCm, OpenVINO, और SYCL backends के लिए macOS, Linux, Windows, Android, और openEuler के लिए बाइनरी प्रदान किए गए।

रिलीज स्थानीय inference के लिए विभिन्न हार्डवेयर त्वरकों और ऑपरेटिंग सिस्टम के साथ संगतता सुनिश्चित करती है।