llama.cpp b11413 रिलीज़ में एक नया Vulkan कार्यान्वयन पेश किया गया है जो क्वांटाइज्ड की और वैल्यू टेंसर का समर्थन करता है। यह अपडेट पिछले कॉम्पैक्शन विधि में प्रदर्शन समस्याओं को हल करता है, जो बड़े संदर्भ विंडो वाले डिकोडिंग कार्यों के लिए बहुत महंगा था।
- नया दृष्टिकोण पंक्तियों को सतत खंडों में विभाजित करता है जिन्हें सबग्रुप या थ्रेड द्वारा प्रोसेस किया जाता है, आरोही सूचकांक सूची बनाए रखने के लिए सहसंयोजित लोड पर बॉटल काउंटिंग का उपयोग करते हुए।
- macOS (Apple Silicon और Intel), Linux (CPU, Vulkan, CUDA 12/13, ROCm, OpenVINO, SYCL, Snapdragon), Windows (CPU, Vulkan, CUDA, OpenVINO, SYCL, ROCm), Android और iOS के लिए पूर्व-निर्मित बाइनरी उपलब्ध हैं।
- रिलीज़ में llama.cpp UI और सुरक्षा सत्यापन के लिए प्रमाणन भी शामिल हैं।