llama.cpp プロジェクトはバージョン b10098 をリリースし、Hexagon 活性化演算の更新が含まれています。このリリースでは、macOS、Linux、Android、Windows、openEuler 向けに、さまざまな CPU および GPU バックエンド用のバイナリが提供されています。
- 統合 geglu マイクロカーネル (hex-geglu) を最適化
- hex-geglu の非連続ソースとストライド DMA を有効化
- その他の ACT 演算の非連続ソースとストライド DMA を有効化
- DEFINE_GLU_PER_THREAD マクロによりスレッドごとの GLU 関数を汎用化
- UNARY_SILU と UNARY_GELU を unary-ops に移動
- 汎用の ops_context スクラッチパッド使用をローカルの htp_vtcm_layout 計算に置き換え