El proyecto ggml ha introducido un backend Ethos-T (ET) inicial en el pull request #24179, permitiendo el uso de NPUs Arm Cortex-M y Ethos-U dentro del marco de llama.cpp.
- La implementación añade soporte para numerosos kernels incluyendo MUL_MAT, ROPE, RMS_NORM, GLU, SOFT_MAX, GET_ROWS y SET_ROWS.
- Incluye registro de rendimiento, ayudantes de cuantización y operaciones vectorizadas como FP32 MUL_MAT usando TensorFMA y softmax paralelizado.
- El backend soporta fusión de kernels (por ejemplo, RMS_NORM + MUL), FlashAttention y varios tipos de datos como Q4_0 y Q8_0.
- Las mejoras de compilación permiten importar el runtime mediante find_package() y admiten la construcción en versiones de Python anteriores a 3.8.
Esta adición permite a los usuarios descargar operaciones de inferencia al hardware Arm Ethos, mejorando potencialmente el rendimiento y la eficiencia para dispositivos compatibles.