llama.cppプロジェクトは、Qualcomm Hexagon DSP上でTOP_K演算子のサポートを追加したバージョンb11054をリリースしました。このアップデートには、単一行処理の最適化と行パーティショニングの修正が含まれています。
- プルリクエスト#29113を通じてTOP_K演算子に対するHexagonサポートを有効化。
- 大規模な行選択を最適化し、VTCMベースのサイズ上限を引き上げ。
- TOP_K mdevにおける行パーティショニングの問題を修正。
- 新しいTOP_Kサポート一覧を反映するようドキュメントを更新。
このリリースでは、CPU、CUDA、ROCm、Vulkan、OpenVINOを含むさまざまなハードウェアバックエンド向けに、macOS、Linux、Windows、Android、openEuler向けのバイナリが提供されています。