github llama.cpp · たった今 · inference

llama.cpp b10780 が SYCL API を強化し、ピアツーピアコピーをサポート

翻訳元 English → 日本語

llama.cpp プロジェクトはバージョン b10780 をリリースしました。このバージョンには SYCL バックエンドに対する特定のエnhancement が含まれています。このアップデートにより、SYCL デバイス向けのピアツーピアコピー（peer-to-peer copy）機能が有効になるよう API が変更されました。

本リリースでは、macOS (Apple Silicon および Intel)、Linux (Ubuntu x64, arm64, s390x)、Windows (x64 および arm64)、Android、openEuler 用のバイナリが提供されています。
サポートされているハードウェアバックエンドには、CPU、Vulkan、ROCm 10.0、OpenVINO、CUDA 12/13、SYCL が含まれます。
このバージョンでは、KleidiAI を搭載した macOS Apple Silicon ビルドは現在無効になっています。
Windows arm64 の CUDA 13 サポートはプレビューリリース（preview release）としてマークされています。

このアップデートにより、ユーザーは SYCL 実装内で新しいピアツーピアコピー機能を利用できるようになります。

重要度 1/3 信頼度 1/3 llama.cpp Hugging Face Inference efficiency

原文を読む

関連記事

github llama.cpp · 1時間前 · 1 回表示ライブ

llama.cpp が NVIDIA Nemotron-3-Puzzle-75B-A9B のサポートを追加

llama.cpp は NVIDIA Nemotron-3-Puzzle-75B-A9B モデルのサポートを導入し、この Mixture of Experts アーキテクチャの推論を有効にします。今回の更新では、モデルが 40 層の MoE レイヤーを持ち、n_ff_exp と top-k の値がそれぞれ異なるため、必要となる、可変のレイヤー別エキスパートフィードフォワードサイズと top-k ルーティングのためのインフラストラクチャを実装しました。

github llama.cpp · 1時間前 · 1 回表示ライブ

llama.cpp b10777 が Q4_K 多列 MMVQ の冗長な作業を削減

llama.cpp プロジェクトはビルド b10777 をリリースしました。これには、Q4_K 多列行列-ベクトル乗算 (MMVQ) 用の SYCL バックエンドの最適化が含まれています。今回の更新は、重みのアンパックと活性化の再利用戦略を通じて冗長な計算作業を削減することに重点を置いています。

github llama.cpp · 14時間前 · 2 回表示

llama.cpp b10766 が DeepSeek 4 のビジョンサポートを追加

llama.cpp プロジェクトはビルド b10766 をリリースしました。これには、DeepSeek 4 モデルの入力ビジョンを正しくサポートするための修正が含まれています。

github llama.cpp · 15時間前 · 4 回表示

llama.cpp b10762 が DeepSeek-V4-Flash-Vision-Exp のサポートを追加

llama.cpp プロジェクトはビルド b10762 をリリースし、DeepSeek-V4-Flash-Vision-Exp モデルのサポートを導入しました。このアップデートには、コマンドラインインターフェースからの最小および最大トークン数の処理も含まれています。

github llama.cpp · 23時間前 · 1 回表示

llama.cpp b10758 が Hexagon 向けに MUL_MAT および MUL_MAT_ID の融合を追加

llama.cpp プロジェクトはビルド b10758 をリリースし、Hexagon DSP 向けの MUL_MAT および MUL_MAT_ID 融合機能を導入しました。このアップデートには、Qualcomm ハードウェア上の安定性とパフォーマンスを向上させるためのいくつかの修正も含まれています。