llama.cpp परियोजना ने संस्करण b10989 जारी किया है, जिसने ROCm बैकएंड के भीतर AllReduce ऑपरेशन को सक्षम करने का समर्थन पेश किया है। यह अपडेट बड़े भाषा मॉडल निष्पादन के लिए हार्डवेयर संगतता और वितरित कंप्यूटिंग क्षमताओं का विस्तार करने की चल रही विकास प्रक्रिया का हिस्सा है।
- रिलीज़ में macOS (Apple Silicon और Intel), Linux (Ubuntu x64, arm64, s390x), Windows, और Android के लिए पूर्व-निर्मित बाइनरी शामिल हैं।
- GPU त्वरण विकल्पों को CUDA 12.8/13.3, Vulkan, OpenVINO, SYCL FP32/FP16, और ROCm 10.0 को समर्थित प्लेटफ़ॉर्म पर विस्तारित किया गया है।
- openEuler x86 और aarch64 आर्किटेक्चर के लिए विशिष्ट बिल्ड प्रदान किए गए हैं, जिसमें 910b प्रोसेसर पर ACL Graph का समर्थन शामिल है।
कोर लाइब्रेरी रिलीज़ के साथ एक स्टैंडअलोन UI बाइनरी भी उपलब्ध है।
यह रिलीज़ उपयोगकर्ताओं को AllReduce कार्यक्षमता के साथ ROCm-आधारित AMD GPUs का लाभ उठाने की अनुमति देती है, जबकि विभिन्न ऑपरेटिंग सिस्टम और हार्डवेयर त्वरकों के लिए अपडेट किए गए बाइनरी प्रदान करती है।