llama.cpp परियोजना ने संस्करण b11007 जारी किया है, जो Multi-Token Prediction (MTP) ड्राफ्ट में CUDA graphs के लिए समर्थन पेश करता है। यह अपडेट CUDA graph निष्पादन का लाभ उठाकर ड्राफ्ट प्रक्रिया की दक्षता को बेहतर बनाता है।
- उपयोग दक्षता को बेहतर बनाने के लिए MTP ड्राफ्ट के लिए CUDA graph सक्षम करें।
- macOS (Apple Silicon और Intel), iOS, Linux (CPU, Vulkan, CUDA 12/13, ROCm, OpenVINO, SYCL), Android, Windows (CPU, OpenCL, CUDA 12/13, Vulkan, OpenVINO, SYCL, ROCm) और openEuler के लिए बाइनरी प्रदान करें।
- सभी समर्थित प्लेटफ़ॉर्म के लिए UI बाइनरी शामिल करें।
यह रिलीज़ नए MTP ड्राफ्ट कार्यान्वयन के माध्यम से संगत NVIDIA GPUs पर अनुकूलित इनफरेंस प्रदर्शन का लाभ उठाने की अनुमति देती है।