github llama.cpp · 1時間前 · inference

llama.cpp b10165 が Vulkan FA に iq4_nl と q1_0 のサポートを追加

翻訳元 English → 日本語

llama.cpp プロジェクトはビルド b10165 をリリースし、Flash Attention (FA) Vulkan バックエンドの iq4_nl 量子化サポートを復元しました。この変更は、共有メモリ使用量に関する懸念が無視できる程度であると判断された後、機能を再有効化することで問題 #23681 に対処します。

Vulkan FA 実装に iq4_nl サポートを再追加。
non-coopmat2 構成用に q1_0 サポートを追加。
q1_0 FA サポートの削除に関する GitHub 問題 #23681 を修正。

このリリースでは、CPU、CUDA、ROCm、OpenVINO、SYCL、および Vulkan バックエンド向けに、macOS、Linux、Windows、Android のバイナリが提供されます。

重要度 1/3 信頼度 1/3 llama.cpp Hugging Face Inference efficiency

原文を読む

github llama.cpp · 2時間前

llama.cpp b10164 が Mamba-2 プリフィルの高速化のためにチャンク化された SSD 行列乗算を追加

llama.cpp プロジェクトはバージョン b10164 をリリースし、Mamba-2 モデルのプリフィルフェーズを加速するために設計された新しいチャンク化された SSD 行列乗算の実装を導入しました。

github llama.cpp · 6時間前 · 1 回表示

llama.cpp b10159 が Metal バックエンド用の FWHT カーネルを追加

llama.cpp プロジェクトはビルド b10159 をリリースし、Metal バックエンド用の高速ウォルシュ・アダマール変換 (FWHT) カーネルを導入しました。このアップデートには進行中の実装詳細に加え、形状ガードとコードフォーマット調整が含まれています。

github llama.cpp · 8時間前 · 2 回表示

llama.cpp b10158 が gpt-oss モデルの eagle3-v3 サポートを追加

llama.cpp プロジェクトはビルド b10158 をリリースし、gpt-oss モデル内で eagle3-v3 アーキテクチャのサポートを導入しました。

github llama.cpp · 5日前 · 2 回表示

llama.cpp b10098 が Hexagon 活性化演算を更新

llama.cpp プロジェクトはバージョン b10098 をリリースし、Hexagon 活性化演算の更新が含まれています。このリリースでは、macOS、Linux、Android、Windows、openEuler 向けに、さまざまな CPU および GPU バックエンド用のバイナリが提供されています。

lab Hugging Face Blog · 5日前 · 1 回表示

DiffusersがNunchaku Liteの4ビット推論をネイティブサポート

Hugging Face Diffusersは、`from_pretrained()`経由でNunchaku Liteチェックポイントをネイティブに読み込む機能を追加し、個別の推論エンジンやローカルCUDAコンパイルの必要性を排除しました。この統合ではSVDQuant方式を用いて4ビット重みと活性化（W4A4）によるTransformerレイヤーを実行し、メモリ使用量を大幅に削減しつつ推論速度を向上させます。