llama.cpp परियोजना ने संस्करण b10830 जारी किया है, जिसमें मॉडल रूपांतरण के लिए एक नया कमांड-लाइन विकल्प पेश किया गया है। इस अपडेट में `--fuse-qkv` फ्लैग जोड़ा गया है, जो उपयोगकर्ताओं को Hugging Face प्रारूप से GGUF में रूपांतरण के दौरान Query, Key और Value मैट्रिक्स को एकल QKV संरचना में विलीन करने की अनुमति देता है।

  • इस रिलीज में macOS (Apple Silicon और Intel), Linux (CPU, Vulkan, ROCm, OpenVINO, और SYCL बैकएंड के साथ Ubuntu), Android, Windows (CPU, CUDA 12/13, Vulkan, OpenCL, ROCm, OpenVINO, और SYCL), और openEuler के लिए बाइनरी शामिल हैं।
  • iOS समर्थन XCFramework के माध्यम से प्रदान किया गया है, जबकि macOS Apple Silicon पर KleidiAI का समर्थन वर्तमान में अक्षम है।

यह अपडेट उन मॉडलों के लिए उपयोगकर्ताओं को अधिक कुशल रूपांतरण पथ प्रदान करता है जो विलीन ध्यान तंत्रों से लाभान्वित होते हैं।