llama.cpp プロジェクトはビルド b10052 をリリースし、Hexagon バックエンドに重要な内部変更を行いました。このアップデートには、ダーティビット追跡と遅延フラッシュによる L2 キャッシュ処理の再設計、および行列乗算カーネルの各種更新が含まれます。

  • hex-mm: act-prep スレッド数を制限していたソルバーの人工的な制限を修正
  • hmx-mm: Hvx 作業をより良く分散させるためのタイル化された act-processing のサポートを追加
  • hex-l2: opbatch レベルでの L2 フラッシュを最適化し、テンサのエイリアスを追跡してフラッシュを遅延またはスキップ
  • hex-work: hmx-queue および dma-queue に合わせるため、レガシーな workpool API を再設計
  • hex-main: dspqueue コールバック用のフォールバックモードを導入し、エラーを引き起こしていた早期ウェイクアップロジックを削除

このリリースでは、CPU、GPU、および専用ハードウェアバックエンド向けに、macOS、Linux、Windows、Android、iOS 用の更新されたバイナリが提供されます。