llama.cpp परियोजना ने बिल्ड b10509 जारी किया, जिसने कई हार्डवेयर बैकएंड्स पर `ggml_rope_set_offset` फ़ंक्शन के लिए समर्थन पेश किया। इस अपडेट में नई ऑपरेशन के लिए CPU, Metal, CUDA और Vulkan कार्यान्वयन शामिल हैं।

  • `ggml_rope_set_offset` पैरामीटर और CPU कर्नेल कार्यान्वयन जोड़ा गया।
  • नए rope ऑफसेट फ़ंक्शनलिटी के लिए Metal कर्नेल समर्थन लागू किया गया।
  • `supports_op` गार्ड को हटाते हुए `ggml_rope_set_offset` के लिए CUDA समर्थन सक्षम किया गया।
  • Linux और Windows दोनों पर `ggml_rope_set_offset` के लिए Vulkan बैकएंड समर्थन जोड़ा गया।
  • संबंधित ऑपरेशनों से inplace अनुकूलन हटाया गया।

रिलीज में macOS, iOS, Linux, Android, Windows और openEuler के लिए विभिन्न आर्किटेक्चर्स, जैसे CPU, GPU और OpenVINO और SYCL जैसे विशेष एक्सेलेरेटर सहित, पूर्व-कंपाइल किए गए बाइनरी प्रदान किए गए हैं।