llama.cpp प्रोजेक्ट ने नए Metal बैकएंड योगदान के माध्यम से Apple M4 Pro GPU के लिए फास्ट एटेंशन वेक्टर (fa-vec) ट्यूनिंग जोड़ी है। यह अपडेट अतिरिक्त Apple GPUs को सपोर्ट करने के पिछले काम के बाद आया है और इसे `ggml-metal-tuning` टूल का उपयोग करके नवंबर 2024 से 14-इंच के MacBook Pro पर जनरेट किया गया था।

  • ट्यूनिंग प्रक्रिया बिना किसी अन्य सिस्टम लोड के 1 घंटे, 13 मिनट और 1 सेकंड में सफलतापूर्वक चली।
  • योगदान M4 Pro आर्किटेक्चर के लिए f16 और q8_0 डेटा टाइप्स को सपोर्ट करता है।
  • इस रिलीज में macOS (Apple Silicon और Intel), iOS, Linux (CPU, Vulkan, ROCm, OpenVINO, SYCL), Android, Windows (CPU, CUDA, Vulkan, OpenCL, ROCm, OpenVINO, SYCL) और openEuler के लिए बाइनरी शामिल हैं।