llama.cppプロジェクトはバージョンb11070をリリースし、64ビットメモリマッピングと拡張されたバッファ処理をサポートするためにHexagonバックエンドを大幅に改訂しました。このアップデートにより、Qualcomm Hexagon DSP上でより大きなモデルや複雑な操作に対する適切なDMA(Direct Memory Access)サポートが可能になります。

  • `hex-dma64`モジュールを通じて拡張されたバッファマッピングと64ビットDMAを有効化。
  • より多くのDMAシナリオをサポートするためにバイナリ演算を拡大し、SSM_CONVを更新して64ビットサポート付きのDMAを使用するようにしました。
  • より大きなモデルでの_eviction_を防ぐために、メモリマッピング(mmaps)の数を64に増加。
  • softmaxとGDNループを書き換えてDMAを活用し、HVXレジスタの使用効率を向上。
  • 大きすぎるDMAトランザクション用のフォールバックとしてセカンダリリングを追加。

このリリースには、CPU、GPU(CUDA、Vulkan、ROCm)、およびNPUバックエンド向けにmacOS、Linux、Windows、Android、openEuler向けのバイナリが含まれています。