llama.cpp b10614 रिलीज ने Metal बैकएंड में एक महत्वपूर्ण वास्तुकला परिवर्तन पेश किया है, ऑपरेशन स्रोतों को विभाजित करके और समानांतर संकलन को सक्षम बनाकर। इस अपडेट में कई नए kernel कार्यान्वयन और अतिरिक्त क्वांटीकरण प्रारूपों के लिए समर्थन भी शामिल है।

  • metallib को 8 लाइब्रेरी में विभाजित करें और बिल्ड समय सुधारने के लिए उन्हें समानांतर रूप से लोड करें।
  • f32, f16, और bf16 डेटा प्रकारों का समर्थन करने वाले col2im_1d ऑपरेशन को जोड़ें।
  • Metal के लिए CONV_2D_DW (गहरा कन्वोल्यूशन) समर्थन लागू करें।
  • Q2_0 क्वांटीकरण प्रारूप समर्थन जोड़ें।
  • snake सक्रियण ऑपरेशन (mul, sin, sqr, mul, add) को फ्यूज करें।
  • Metal बैकएंड के लिए FWHT kernel पेश करें।

यह रिलीज CPU, GPU और विभिन्न एक्सेलेरेटर बैकएंड्स के लिए macOS, iOS, Linux, Windows, Android और openEuler के लिए पूर्व-संकलित बाइनरी प्रदान करती है।