llama.cpp b10043 में CUDA Virtual Devices का समर्थन जोड़ा गया

llama.cpp प्रोजेक्ट ने build b10043 जारी किया, जिसमें CUDA Virtual Devices के लिए समर्थन पेश किया गया है। इस अपडेट में जब virtual devices का उपयोग किया जाता है तो NCCL path को अक्षम कर दिया गया है और इसके साथ ही code refactoring और labeled virtual device descriptions शामिल हैं।

• backend में CUDA Virtual Devices के लिए समर्थन जोड़ा गया है।
• जब virtual devices का उपयोग किया जाता है तो NCCL communication path अक्षम हो जाता है।
• virtual devices अब descriptions में labeled हैं, और GPUx2 server CI jobs जोड़े गए हैं।
• macOS (Apple Silicon और Intel), Linux (CPU, Vulkan, ROCm, OpenVINO, SYCL), Android, Windows (CPU, OpenCL, CUDA 12/13, Vulkan, OpenVINO, SYCL, HIP), और openEuler के लिए binaries प्रदान किए गए हैं।

यह रिलीज उपयोगकर्ताओं को CUDA Virtual Devices का उपयोग करने वाली सिस्टम पर llama.cpp चलाने की अनुमति देती है, जबकि व्यापक हार्डवेयर आर्किटेक्चर और ऑपरेटिंग सिस्टम के बीच संगतता बनाए रखती है।