llama.cpp परियोजना ने संस्करण 0.2.0 जारी किया है, जिसमें ggml लाइब्रेरी के साथ समन्वय संस्करण 0.21.0 तक बढ़ाया गया है। इस अपडेट में विभिन्न हार्डवेयर प्लेटफ़ॉर्म पर कई बैकएंड सुधार और नई विशेषताएं शामिल हैं।
- संगत हार्डवेयर पर बेहतर प्रदर्शन के लिए Kleidiai SME2 F32 GEMV कर्नेल समर्थन जोड़ा गया।
- बहु-GGPU वितरण को बेहतर बनाने के लिए LFM2 और LFM2MOE मॉडलों के लिए टेंसर स्प्लिट कार्यक्षमता सक्षम की गई।
- मॉडल लोडिंग पाइपलाइन में LFM2 मॉडलों के लिए DSpark समर्थन लागू किया गया।
- Q2_K पुनः क्रमित MMVQ, ESIMD कर्नेल्स और Alchemist GPUs तथा mlock समस्याओं के लिए सुधारों के साथ SYCL बैकएंड को अपडेट किया गया।
- Adreno A6x/A7x कंपाइलर और स्थानीय आकार गणना के लिए सुधारों के साथ OpenCL स्थिरता में सुधार किया गया।
- मल्टीमोडल प्रोजेक्शन के लिए डिवाइस प्लेसमेंट निर्दिष्ट करने के लिए mtmd में --mmproj-device तर्क जोड़ा गया।
रिलीज़ में CI सफाई, UI सेटिंग्स नेविगेशन सुधार और CUDA, Metal, और Vulkan बैकएंड के लिए विभिन्न बग फिक्स भी शामिल हैं।