github llama.cpp · 1時間前 · inference

llama.cpp b10159 が Metal バックエンド用の FWHT カーネルを追加

翻訳元 English → 日本語

llama.cpp プロジェクトはビルド b10159 をリリースし、Metal バックエンド用の高速ウォルシュ・アダマール変換 (FWHT) カーネルを導入しました。このアップデートには進行中の実装詳細に加え、形状ガードとコードフォーマット調整が含まれています。

ggml-metal に Metal バックエンド用の FWHT カーネルサポートを追加。
狭め込み問題の修正と軽微なスタイル修正を含める。
CPU、GPU (CUDA, Vulkan, ROCm, SYCL, OpenVINO)、および Apple Silicon アーキテクチャ向けに、macOS、iOS、Linux、Windows、Android、openEuler のバイナリを提供。

今回のリリースにより、対応プラットフォーム上のユーザーが新しい Metal カーネルを利用可能になりました。

重要度 1/3 信頼度 1/3 llama.cpp Hugging Face Inference efficiency

原文を読む

github llama.cpp · 3時間前 · 2 回表示

llama.cpp b10158 が gpt-oss モデルの eagle3-v3 サポートを追加

llama.cpp プロジェクトはビルド b10158 をリリースし、gpt-oss モデル内で eagle3-v3 アーキテクチャのサポートを導入しました。

github llama.cpp · 5日前 · 2 回表示

llama.cpp b10098 が Hexagon 活性化演算を更新

llama.cpp プロジェクトはバージョン b10098 をリリースし、Hexagon 活性化演算の更新が含まれています。このリリースでは、macOS、Linux、Android、Windows、openEuler 向けに、さまざまな CPU および GPU バックエンド用のバイナリが提供されています。

lab Hugging Face Blog · 5日前 · 1 回表示

DiffusersがNunchaku Liteの4ビット推論をネイティブサポート

Hugging Face Diffusersは、`from_pretrained()`経由でNunchaku Liteチェックポイントをネイティブに読み込む機能を追加し、個別の推論エンジンやローカルCUDAコンパイルの必要性を排除しました。この統合ではSVDQuant方式を用いて4ビット重みと活性化（W4A4）によるTransformerレイヤーを実行し、メモリ使用量を大幅に削減しつつ推論速度を向上させます。

github llama.cpp · 6日前 · 1 回表示

llama.cpp b10089 が CUDA GET_ROWS に完全な k-quant および i-quant サポートを追加

llama.cpp b10089 リリースは、k-quants、i-quants、mxfp4 量子化フォーマットをサポートするように CUDA GET_ROWS 操作を拡張します。この変更により、量子化されたすべての GGML タイプが埋め込みルックアップの直接デバイスパスを使用できるようになります。

github llama.cpp · 6日前

llama.cpp b10085 が位置埋め込み補間の整合により Qwen3-VL のグラウンディングを修正

llama.cpp プロジェクトはビルド b10085 をリリースし、Qwen3-VL ビジョンモデルの位置埋め込み補正の修正を含み、グラウンディング座標の不整合を解消しました。