ggmlプロジェクトは、pull request #24179で初期Ethos-T (ET)バックエンドを導入し、llama.cppフレームワーク内でArm Cortex-MおよびEthos-U NPUの使用を可能にしました。

  • 実装により、MUL_MAT、ROPE、RMS_NORM、GLU、SOFT_MAX、GET_ROWS、SET_ROWSを含む多数のカーネルのサポートが追加されました。
  • パフォーマンスログ、量子化ヘルパー、TensorFMAを使用したFP32 MUL_MATや並列化されたsoftmaxなどのベクトル演算が含まれています。
  • バックエンドはカーネル融合（例：RMS_NORM + MUL）、FlashAttention、Q4_0およびQ8_0などの各種データ型をサポートしています。
  • ビルドの改善により、find_package()を介してランタイムをインポート可能になり、Python 3.8以前のバージョンでのビルドもサポートされています。

この追加により、ユーザーは推論操作をArm Ethosハードウェアにオフロードでき、互換性のあるデバイスでパフォーマンスと効率の向上が期待できます。