Proyek ggml telah memperkenalkan backend Ethos-T (ET) awal dalam pull request #24179, memungkinkan penggunaan NPU Arm Cortex-M dan Ethos-U dalam kerangka kerja llama.cpp.

  • Implementasi ini menambahkan dukungan untuk banyak kernel termasuk MUL_MAT, ROPE, RMS_NORM, GLU, SOFT_MAX, GET_ROWS, dan SET_ROWS.
  • Ini mencakup logging kinerja, helper kuantisasi, dan operasi tervektorisasi seperti FP32 MUL_MAT menggunakan TensorFMA dan softmax yang diparalelkan.
  • Backend ini mendukung fusi kernel (misalnya, RMS_NORM + MUL), FlashAttention, dan berbagai tipe data seperti Q4_0 dan Q8_0.
  • Peningkatan build memungkinkan impor runtime melalui find_package() dan mendukung pembangunan pada versi Python sebelum 3.8.

Penambahan ini memungkinkan pengguna untuk mengosongkan operasi inferensi ke perangkat keras Arm Ethos, yang berpotensi meningkatkan kinerja dan efisiensi untuk perangkat yang kompatibel.