llama.cpp परियोजना ने संस्करण b9948 जारी किया, जिसमें CUDA के लिए ggml लाइब्रेरी में एक महत्वपूर्ण अनुकूलन शामिल है। अपडेट ने `ggml_top_k()` और `ggml_argsort()` को छोटे चंक में डेटा प्रोसेस करने के लिए संशोधित किया, जिससे अस्थायी बफर मेमोरी उपयोग कम हुआ।
- CUDA CUB top-k और argsort कार्यान्वयन दोनों में चंक प्रोसेसिंग लागू की गई।
- मेमोरी को और अनुकूलित करने के लिए लूप से पहले केवल एक बार `tmp_dst` आवंटित किया गया।
- कोड की स्पष्टता के लिए त्रिक संचालकों को min/max फ़ंक्शन से बदला गया।
- CPU, CUDA, Vulkan, ROCm, OpenVINO, SYCL और HIP बैकएंड्स के माध्यम से macOS (Apple Silicon और Intel), Linux, Windows, Android और openEuler के लिए बाइनरी जारी की गईं।
यह रिलीज़ विभिन्न प्लेटफ़ॉर्म के लिए उपयोगकर्ताओं को अपडेटेड बिल्ड प्रदान करती है, जबकि विशिष्ट CUDA ऑपरेशन में मेमोरी दक्षता को संबोधित करती है।