O projeto ggml introduziu um backend Ethos-T (ET) inicial no pull request #24179, permitindo o uso de NPUs Arm Cortex-M e Ethos-U dentro do framework llama.cpp.

  • A implementação adiciona suporte para numerosos kernels incluindo MUL_MAT, ROPE, RMS_NORM, GLU, SOFT_MAX, GET_ROWS e SET_ROWS.
  • Inclui registro de desempenho, auxiliares de quantização e operações vetorizadas como FP32 MUL_MAT usando TensorFMA e softmax paralelizado.
  • O backend suporta fusão de kernels (por exemplo, RMS_NORM + MUL), FlashAttention e vários tipos de dados como Q4_0 e Q8_0.
  • Melhorias na compilação permitem importar o runtime via find_package() e suportam a construção em versões do Python anteriores a 3.8.

Esta adição permite que os usuários descarreguem operações de inferência para o hardware Arm Ethos, potencialmente melhorando o desempenho e a eficiência para dispositivos compatíveis.