github llama.cpp · たった今 · inference

llama.cpp b10727 が量子化型に対する連結サポートを追加

翻訳元 English → 日本語

llama.cpp プロジェクトは、量子化データ型に対する連結サポートを導入したビルド b10727 をリリースしました。このアップデートは DeepSeek-V4-Flash-0731 によって支援され、CPU、CUDA、ROCm、Vulkan を含むさまざまなハードウェアバックエンド上で、macOS、Linux、Windows、Android、openEuler のバイナリが含まれています。

今回のリリースでは、複数のプラットフォームとアーキテクチャ向けに事前にコンパイルされたバイナリが提供されています：

macOS Apple Silicon (arm64) および Intel (x64)
XCFramework 経由の iOS
Vulkan、ROCm 7.14、OpenVINO、SYCL サポートを含む Ubuntu x64、arm64、s390x の Linux ディストリビューション
CPU、OpenCL Adreno、CUDA 12/13、Vulkan、OpenVINO、SYCL、ROCm 7.14 オプション付きの Windows x64 および arm64
Android arm64 (CPU)
openEuler x86 および aarch64 構成

このリリースにより、ユーザーはサポートされている幅広いオペレーティングシステムとハードウェアアクセラレータ全体で、新しい量子化連結機能を利用できるようになります。

重要度 1/3 信頼度 1/3 llama.cpp Hugging Face Inference efficiency

原文を読む

関連記事

github llama.cpp · 2時間前 · 1 回表示

llama.cpp b10726 が AVX2 を使用して大規模バッチの IQ モデルプロンプト処理を高速化

llama.cpp プロジェクトはバージョン b10726 をリリースし、IQ 量子化モデルでの大規模バッチサイズの処理に対する顕著なパフォーマンス最適化を導入しました。主な更新では、AVX2 命令を利用して、バッチ化された GEMM 演算を通じてグリッド IQ 量子化を加速します。

github llama.cpp · 4時間前 · 2 回表示

llama.cpp b10723がIntel Xe-LP GPUのOpenCL量子化パスを調整

llama.cppプロジェクトはバージョンb10723をリリースし、Intel Xe-LPグラフィックスハードウェア向けのOpenCL固有の最適化を含んでいます。このアップデートは、量子化カーネルを調整することでテンソル生成(TG)とプリフィル(PP)のパフォーマンス向上に焦点を当てています。

github llama.cpp · 7時間前 · 1 回表示

llama.cpp b10718 が specdec およびマルチトークン向けに MOE 融合を拡張

llama.cpp プロジェクトはバージョン b10718 をリリースし、CUDA バックエンドの重要なアップデートが含まれています。最も注目すべき変更は、Mixture of Experts (MOE) 融合をスペキュレイティブデコーディング（specdec）のサポートに拡張し、以前 MOE glu 融合と topk-router 融合が一度に1つのトークンの処理のみ制限されていたという制限に対処したことです。

github llama.cpp · 9時間前 · 3 回表示

llama.cpp b10717 リリースで SYCL メモリ情報取得が強化

llama.cpp プロジェクトはバージョン b10717 をリリースしました。これには Intel GPU 用の SYCL バックエンドの特定の強化が含まれています。このアップデートは、L0 SYCL API を活用して空きメモリ情報を取得する能力を向上させます。

github llama.cpp · 15時間前 · 3 回表示

llama.cpp b10712 が Qwen 3.8 Flash Next 向けに Vulkan top-k radix select を追加

llama.cpp プロジェクトはビルド b10712 をリリースし、1024 以上の k 値をサポートするように設計された Vulkan 用の新しい top-k radix sort シェーダーを導入しました。このアップデートは Qwen 3.8 Flash Next モデルを特にターゲットとしており、対応するテストおよび top-k qsa フュージョンを含みます。