llama.cpp プロジェクトはバージョン b11206 をリリースし、Hexagon バックエンド サンプラーのサポートを導入しました。このアップデートには、サンプリング パイプラインと Hexagon NPU 上の操作に関するいくつかの変更が含まれています。
- hex-sampler に STEP および SUM オペレーションを追加。
- サンプリング ケースをサポートするように CPY を更新。
- 大きな logits を処理するために hex-binary にチャンキング サポートを追加。
- hex-argmax のために ARGMAX の基本バージョンを実装。
- dim 2 スライスを横断する dim 1 ブロードキャストのインデックス問題を修正。
- クリティカルなループで明示的なヒントを使用するため、オートベクタライザーを無効化。
リリースでは、CPU、GPU、NPU を含むさまざまなハードウェア バックエンド向けに、macOS、Linux、Windows、Android、openEuler 用のバイナリが提供されています。