ggml परियोजना ने pull request #24179 में एक प्रारंभिक Ethos-T (ET) बैकएंड पेश किया है, जो llama.cpp फ्रेमवर्क के भीतर Arm Cortex-M और Ethos-U NPUs का उपयोग सक्षम बनाता है।
- कार्यान्वयन में MUL_MAT, ROPE, RMS_NORM, GLU, SOFT_MAX, GET_ROWS, और SET_ROWS सहित कई kernels के लिए समर्थन जोड़ा गया है।
- इसमें प्रदर्शन लॉगिंग, क्वांटीज़ेशन हेल्पर, और FP32 MUL_MAT (TensorFMA का उपयोग करके) और समानांतर softmax जैसे वेक्टराइज्ड ऑपरेशंस शामिल हैं।
- बैकएंड kernels फ्यूजन (उदाहरण के लिए, RMS_NORM + MUL), FlashAttention, और Q4_0 और Q8_0 जैसे विभिन्न डेटा प्रकारों का समर्थन करता है।
- बिल्ड में सुधार ने find_package() के माध्यम से रनटाइम आयात करने और Python 3.8 से पहले संस्करणों पर बिल्ड करने का समर्थन किया है।
यह जोड़ उपयोगकर्ताओं को Arm Ethos हार्डवेयर पर इनफरेंस ऑपरेशंस को ऑफलोड करने की अनुमति देता है, जिससे संगत उपकरणों के लिए प्रदर्शन और दक्षता में संभावित सुधार हो सकता है।