github llama.cpp · 1日前 · inference

llama.cpp b10692 が TOP_K SYCL カーネルで長い行を分割

翻訳元 English → 日本語

llama.cpp プロジェクトは、TOP_K 演算の SYCL 実装への変更を含むビルド b10692 をリリースしました。この変更では、行ごとに 1 つのワークグループを割り当てるのではなく、カーネル内で長い行を分割します。

このアップデートは、macOS (Apple Silicon および Intel)、Linux (CPU、Vulkan、ROCm 7.14、OpenVINO、SYCL FP32/FP16)、Windows (CPU、CUDA 12/13、Vulkan、OpenVINO、SYCL、ROCm 7.14)、Android、iOS など、複数のプラットフォームとハードウェアバックエンドで利用可能です。

このリリースでは、x64、arm64、s390x などのさまざまなアーキテクチャ用のバイナリと、更新された UI パッケージが提供されています。

重要度 1/3 信頼度 1/3 llama.cpp Hugging Face Inference efficiency

原文を読む

関連記事

github llama.cpp · 2時間前

llama.cpp b10718 が specdec およびマルチトークン向けに MOE 融合を拡張

llama.cpp プロジェクトはバージョン b10718 をリリースし、CUDA バックエンドの重要なアップデートが含まれています。最も注目すべき変更は、Mixture of Experts (MOE) 融合をスペキュレイティブデコーディング（specdec）のサポートに拡張し、以前 MOE glu 融合と topk-router 融合が一度に1つのトークンの処理のみ制限されていたという制限に対処したことです。

github llama.cpp · 4時間前 · 3 回表示

llama.cpp b10717 リリースで SYCL メモリ情報取得が強化

llama.cpp プロジェクトはバージョン b10717 をリリースしました。これには Intel GPU 用の SYCL バックエンドの特定の強化が含まれています。このアップデートは、L0 SYCL API を活用して空きメモリ情報を取得する能力を向上させます。

github llama.cpp · 10時間前 · 3 回表示

llama.cpp b10712 が Qwen 3.8 Flash Next 向けに Vulkan top-k radix select を追加

llama.cpp プロジェクトはビルド b10712 をリリースし、1024 以上の k 値をサポートするように設計された Vulkan 用の新しい top-k radix sort シェーダーを導入しました。このアップデートは Qwen 3.8 Flash Next モデルを特にターゲットとしており、対応するテストおよび top-k qsa フュージョンを含みます。

github llama.cpp · 17時間前 · 6 回表示

llama.cpp b10705 が TENSOR_READ_LAZY の処理を改善

llama.cpp プロジェクトはバージョン b10705 をリリースしました。これには TENSOR_READ_LAZY 処理メカニズムの改善が含まれています。この更新により、遅延設定が有効な場合に CPU で遅延テンソルが強制的に読み込まれます。

github llama.cpp · 18時間前 · 4 回表示

llama.cpp b10702 が AMD gfx1201 の Q2_0 ドット積を最適化

llama.cpp プロジェクトはバージョン b10702 をリリースし、AMD の gfx1201 アーキテクチャにおける Q2_0 量子化ドット積パスの特定の最適化を含んでいます。この更新により、HIP 実装がネイティブな amdgcn 置換命令を使用するよう拡張され、この特定のハードウェア構成のパフォーマンスが向上します。