github llama.cpp · 6時間前 · inference

llama.cpp b11118がHVX FAマスク処理のためのダイレクトマップDMAキャッシュを導入

翻訳元 English → 日本語

llama.cppプロジェクトは、新しいhex-dma機能を含むビルドb11118をリリースしました。この機能は、Hexagon Vector eXtended (HVX) FAマスク処理により適したダイレクトマップDMAキャッシュを導入しています。

このリリースでは、複数のプラットフォームとハードウェアバックエンド間でバイナリとフレームワークが提供されます：

macOS Apple Silicon (arm64)、macOS Intel (x64)、およびiOS XCFramework
Linux Ubuntu x64、arm64、s390x、およびCUDA 12/13、ROCm 10.0、OpenVINO、SYCL、Vulkanを含む各種GPU/CPUバックエンド
CPU、OpenCL Adreno、CUDA 12/13、Vulkan、OpenVINO、SYCL、およびROCm 10.0をサポートするWindows x64とarm64
CPUおよびSnapdragon (CPU、Adreno GPU、Hexagon NPU)用のAndroid arm64
CPU、Adreno GPU、およびHexagon NPUを含むSnapdragonデバイス用のLinux arm64
スタンドアロンUIビルドも利用可能です。

このアップデートにより、ユーザーは幅広いアーキテクチャでllama.cppを実行できるようになり、特に新しいダイレクトマップDMAキャッシュを通じてQualcomm SnapdragonプロセッサのHexagon NPUのサポートが強化されました。

重要度 1/3 信頼度 1/3 llama.cpp Inference efficiency Local inference

原文を読む

関連記事

github llama.cpp · 1時間前 · 10 回表示ライブ

llama.cpp b11120 は Vulkan の内部シンボルを隠蔽して状態の破損を修正

llama.cpp プロジェクトはバージョン b11120 をリリースし、Vulkan バックエンドの重大なバグを内部シンボルを隠蔽することで修正しました。この変更により、内部シンボルがエクスポートされた際に発生していた重複した dlopen による状態破損の問題を防ぎます。

github llama.cpp · 17時間前 · 9 回表示

llama.cppがHunyuanOCRのDFlashサポートを追加し、ドラフト変換を修正

llama.cppプロジェクトは、ターゲットグラフ内のレイヤー入力テンソルを公開することで、HunyuanOCRモデルとのDFlash推測デコーディングのサポートを追加しました。この変更により、ドラフトモデルが残差ストリームを読み取れるようになり、非推測実行と比較して約0.5のドラフト受容率とバイトレベルで同一のOCR出力を得ながら、画像リクエストを正常に実行できるようになりました。

github llama.cpp · 17時間前 · 13 回表示

llama.cpp b11104 で llama-server を複数のアドレスにバインドするサポートが追加

llama.cpp プロジェクトはバージョン b11104 をリリースし、llama-server コンポーネントが同時に複数のネットワークアドレスにバインドできる新機能をもたらしました。

github llama.cpp · 19時間前 · 15 回表示

llama.cpp b11102 が MiMo-V2.6 のサポートを追加

llama.cpp プロジェクトはビルド b11102 をリリースし、MiMo-V2.6 モデルの変換サポートを導入しました。

lab Hugging Face Blog · 20時間前 · 10 回表示

Transformersがggmlカーネル経由でGGUFサポートを追加し、ローカル推論に対応

Hugging FaceのTransformersライブラリは、基盤となるggmlカーネルを活用してllama.cppに近いパフォーマンスを実現しつつ、GGUF量子化モデルの読み込みをサポートするようになりました。この統合により、開発者は対応ハードウェア上で標準的なPyTorchベースのAPI内で量子化済みチェックポイントを直接実行できます。