أطلق مشروع ggml دعم Ethos-T (ET) الأولي في طلب السحب #24179، مما يتيح استخدام معالجات Arm Cortex-M وEthos-U NPUs ضمن إطار عمل llama.cpp.

  • تضيف التنفيذ دعمًا للعديد من النوى بما في ذلك MUL_MAT وROPE وRMS_NORM وGLU وSOFT_MAX وGET_ROWS وSET_ROWS.
  • يتضمن تسجيل الأداء، ومساعدات التكميم، والعمليات المتجهة مثل FP32 MUL_MAT باستخدام TensorFMA وsoftmax المتوازي.
  • يدعم الخلفية دمج النوى (مثل RMS_NORM + MUL)، وFlashAttention، وأنواع بيانات متعددة مثل Q4_0 وQ8_0.
  • تسمح تحسينات البناء باستيراد وقت التشغيل عبر find_package() ودعم البناء على إصدارات Python السابقة لـ 3.8.

يتيح هذا الإضافة للمستخدمين نقل عمليات الاستدلال إلى عتاد Arm Ethos، مما قد يحسن الأداء والكفاءة للأجهزة المتوافقة.