llama.cppプロジェクトは、Hexagonバックエンドの重要な最適化を含むバージョンb11309をリリースしました。このアップデートは、ALLREDUCE操作に安全なscatterモードのサポートを追加し、Qualcomm Snapdragonデバイスでのパフォーマンスと安定性の向上を目指しています。

  • 安全なscatterモードのサポートを追加してHexagon ALLREDUCEを最適化します。
  • レジスタスパイルを排除するためにhex-allreduceの実装を書き直します。
  • hex-allreduceコード内の不要なコメントを削減します。
  • CPU、GPU、NPUバックエンド向けにmacOS（Apple SiliconおよびIntel）、Linux、Windows、Android、openEulerのバイナリを提供します。

このリリースにより、主要なデスクトップおよびモバイルオペレーティングシステム全体で幅広い互換性を維持しつつ、Hexagon NPUを搭載したモバイルハードウェアでのより効率的な分散推論が可能になります。