llama.cpp प्रोजेक्ट ने संस्करण b10739 जारी किया है, जिसमें Apple के M2 Max हार्डवेयर के लिए एक विशिष्ट प्रदर्शन अनुकूलन शामिल है। इस अपडेट में M2 Max के 30 GPU कोर के लिए अनुकूलित फास्ट एटेंशन वेक्टर (fa-vec) ट्यूनिंग पेश की गई है।

  • f16 और q8_0 dtypes पर ggml-metal-tuning के साथ एकत्र किए गए M2 Max के लिए fa-vec ट्यूनिंग पंक्तियाँ जोड़ी गईं।
  • macOS Apple Silicon, Intel Macs, iOS, Linux (CPU, Vulkan, ROCm, OpenVINO, SYCL), Windows (CPU, CUDA 12/13, Vulkan, OpenVINO, SYCL, ROCm), Android और openEuler के लिए बाइनरी प्रदान किए गए।

यह रिलीज़ विभिन्न ऑपरेटिंग सिस्टम और हार्डवेयर एक्सेलेरेटर पर व्यापक समर्थन बनाए रखते हुए नवीनतम Apple silicon पर अनुकूलित इनफरेंस प्रदर्शन सुनिश्चित करती है।