llama.cpp परियोजना ने बिल्ड b11059 जारी किया, जिसमें Apple Silicon हार्डवेयर के लिए Metal बैकएंड में महत्वपूर्ण अपडेट शामिल हैं। प्राथमिक परिवर्तन फास्ट वालश-हैडामार्ड ट्रांसफॉर्म (FWHT) कुंजल में F16 इनपुट समर्थन जोड़ना है, जिससे यह बिना किसी रूपांतरित कॉपी की आवश्यकता के सीधे F16 स्रोतों को पढ़ सकता है।

  • Metal FWHT कुंजल अब स्रोत प्रकार को टेम्पलेट पैरामीटर बनाकर F16 इनपुट स्वीकार करता है, जबकि F32 इंस्टेंशिएशन अपरिवर्तित रहते हैं।
  • FWHT SIMD ग्रुप कुंजल में ब्रैंचलेस बटरफ्लाई सिलेक्ट ने टर्नरी ऑपरेटरों को प्रतिस्थापित किया, जिससे M5 Pro पर बड़े हैडामार्ड मैटमल्स के लिए 3.0% प्रदर्शन लाभ (1285.0 us बनाम 1324.6 us) मिला।
  • macos-latest-arm64 बिल्ड को ठीक करने और supports_op तथा डिस्पैच तर्क के बीच स्थिरता सुनिश्चित करने के लिए डिस्पैच प्रेडिकेट्स को ggml-metal-common में स्थानांतरित कर दिया गया।
  • इस रिलीज में CPU, CUDA, ROCm, Vulkan, OpenVINO और SYCL बैकएंड्स के लिए macOS, iOS, Linux, Windows, Android और openEuler के लिए बाइनरी शामिल हैं।

यह अपडेट Metal बैकएंड में F16 संचालनों के लिए मेमोरी ओवरहेड और लेटेंसी को कम करके Apple Silicon पर दक्षता में सुधार करता है।