llama.cppプロジェクトはバージョンb10643をリリースし、マルチNPUデバイス（IQ9、IQ10）のサポートとHexagonアーキテクチャ用の完全非同期バックエンドを導入しました。

  • Hexagonバックエンドはデフォルトでホスト外バッファを使用し、完全な非同期性を実装しています。
  • Snapdragon Androidプラットフォーム34のサポートが追加されました。
  • Q8_0量子化にインプレイス脱量子化器、DMAパイプライン、および行演算のサポートが追加されました。
  • ALLREDUCE演算は融合カーネルと改善されたDMA効率で最適化されました。
  • 同期トークンとフェンスメカニズムが強化され、非同期分割間でNPUデバイスを同期します。

これらの変更により、マルチNPU Snapdragonハードウェア上で並列デバイス実行とより高速なテンソルコピーを可能にし、効率的な推論を実現します。