llama.cpp प्रोजेक्ट ने संस्करण b10025 जारी किया है, जिसमें क्वांटाइज्ड कॉन्कैनेशन ऑपरेशन के लिए टेंसर सततता आवश्यकताओं को ढीला करने वाला एक बदलाव शामिल है।
- मुख्य अपडेट CUDA बैकएंड और अंतर्निहित ggml लाइब्रेरी को संशोधित करता है ताकि क्वांटाइज्ड कॉन्कैट के दौरान गैर-सतत टेंसर की अनुमति दी जा सके।
- गैर-सतत क्वांटाइज्ड कॉन्कैट इनपुट के साथ कार्यात्मकता की पुष्टि करने के लिए परीक्षण मामले जोड़े गए हैं।
- macOS (Apple Silicon और Intel), Linux (CPU, Vulkan, ROCm, OpenVINO, SYCL), Android, Windows (CPU, OpenCL, CUDA 12/13, Vulkan, OpenVINO, SYCL, HIP) और openEuler के लिए बाइनरी प्रदान की गई हैं।
इस रिलीज में बिल्ड एन्वायरनमेंट को अपडेट किया गया है और क्वांटाइज्ड ऑपरेशन के लिए विशिष्ट टेंसर हैंडलिंग प्रतिबंधों को ठीक किया गया है।