github llama.cpp · 1時間前 · inference

llama.cpp b10418 が SYCL のホストピンドメモリサポートを追加

翻訳元 English → 日本語

llama.cpp プロジェクトはバージョン b10418 をリリースし、SYCL のホストからデバイスへのメモリアクセスを改善するためにホストピンドメモリのサポートを導入しました。このアップデートはバックエンド実装内のスレッドセーフティの問題に対処します。

ホストピンドメモリ用の ggml_backend_sycl_host_buffer_type_get_max_size サポートを追加。
SYCL バックエンドのスレッドセーフな問題を修正。
macOS (Apple Silicon および Intel)、Linux (CPU、Vulkan、ROCm、OpenVINO、SYCL FP32/FP16)、Android、Windows (CPU、OpenCL、CUDA 12/13、Vulkan、OpenVINO、SYCL、ROCm 7.14)、openEuler 用のバイナリを含む。
すべてのプラットフォーム向けの統一された UI パッケージを提供。

このリリースにより、SYCL 対応ハードウェアでホストとデバイスメモリの間のデータ転送が高速化され、スレッドセーフティの改善により安定性が確保されます。

重要度 1/3 信頼度 1/3 llama.cpp Inference efficiency Local inference

原文を読む

関連記事

github llama.cpp · 1時間前ライブ

llama.cpp OpenVINOバックエンドがQwen3.5サポートとメモリ最適化を追加

llama.cppプロジェクトは、OpenVINOバックエンドへの重要な更新をマージしました。主な変更点として、Qwen3.5モデルファミリーのサポート有効化と、いくつかのメモリ最適化技術の導入が含まれます。

github llama.cpp · 4時間前 · 1 回表示

llama.cpp b10414がTQ2_0サポートを追加しmul_mvカーネルを最適化

llama.cppプロジェクトはビルドb10414をリリースし、MetalバックエンドにGGML_TYPE_TQ2_0三元量子化タイプをサポートしました。このアップデートには、連続テンソル(cont)のmul_mvカーネルの最適化も含まれています。

github llama.cpp · 3日前 · 1 回表示

llama.cpp b10354 が Android での CPU アフィニティマスクの修正を提供

llama.cpp プロジェクトはバージョン b10354 をリリースしました。これには、Android デバイスで無視されていた CPU アフィニティマスクの問題に対する修正が含まれています。

github llama.cpp · 3日前 · 2 回表示

llama.cpp b10344がNemotronモデルのMTPサポートを追加

llama.cppプロジェクトはビルドb10344をリリースし、NemotronおよびNemotron Nanoモデル用にMulti-Token Prediction (MTP)サポートを導入しました。

github llama.cpp · 3日前 · 1 回表示

llama.cppがGranite-Switchアーキテクチャを追加、トークンごとのLoRA選択にグラフ内ルーターを採用

llama.cppプロジェクトは、制御トークンによってトークンごとに選択されるN個の埋め込みLoRAアダプターを備えた密接モデルバリアントであるGranite-Switchアーキテクチャのサポートを導入しました。この実装は、アダプターインデックスを解決するために、以前の概念実証用のグローバルスティッキーインデックスをグラフ内因果「ルーター」アテンションメカニズムに置き換えました。