github llama.cpp · たった今 · inference

llama.cpp b10158 が gpt-oss モデルの eagle3-v3 サポートを追加

翻訳元 English → 日本語

llama.cpp プロジェクトはビルド b10158 をリリースし、gpt-oss モデル内で eagle3-v3 アーキテクチャのサポートを導入しました。

このアップデートは複数のプラットフォームとハードウェア構成で利用可能です。ダウンロードには、macOS（Apple Silicon および Intel）、Linux（Ubuntu の CPU、Vulkan、ROCm 7.2、OpenVINO、SYCL バックエンド）、Windows（CPU、CUDA 12/13、Vulkan、OpenVINO、SYCL、HIP）、Android、および openEuler 用のバイナリが含まれています。

リリースでは、メインアプリケーションとその UI のためにビルド済みのバイナリが提供されており、ユーザーはソースからコンパイルすることなく、幅広いシステムで更新されたモデルを実行できます。

重要度 1/3 信頼度 1/3 llama.cpp Hugging Face Inference efficiency

原文を読む

github llama.cpp · 5日前 · 2 回表示

llama.cpp b10098 が Hexagon 活性化演算を更新

llama.cpp プロジェクトはバージョン b10098 をリリースし、Hexagon 活性化演算の更新が含まれています。このリリースでは、macOS、Linux、Android、Windows、openEuler 向けに、さまざまな CPU および GPU バックエンド用のバイナリが提供されています。

lab Hugging Face Blog · 5日前 · 1 回表示

DiffusersがNunchaku Liteの4ビット推論をネイティブサポート

Hugging Face Diffusersは、`from_pretrained()`経由でNunchaku Liteチェックポイントをネイティブに読み込む機能を追加し、個別の推論エンジンやローカルCUDAコンパイルの必要性を排除しました。この統合ではSVDQuant方式を用いて4ビット重みと活性化（W4A4）によるTransformerレイヤーを実行し、メモリ使用量を大幅に削減しつつ推論速度を向上させます。

github llama.cpp · 6日前 · 1 回表示

llama.cpp b10089 が CUDA GET_ROWS に完全な k-quant および i-quant サポートを追加

llama.cpp b10089 リリースは、k-quants、i-quants、mxfp4 量子化フォーマットをサポートするように CUDA GET_ROWS 操作を拡張します。この変更により、量子化されたすべての GGML タイプが埋め込みルックアップの直接デバイスパスを使用できるようになります。

github llama.cpp · 6日前

llama.cpp b10085 が位置埋め込み補間の整合により Qwen3-VL のグラウンディングを修正

llama.cpp プロジェクトはビルド b10085 をリリースし、Qwen3-VL ビジョンモデルの位置埋め込み補正の修正を含み、グラウンディング座標の不整合を解消しました。

github llama.cpp · 8日前 · 2 回表示

llama.cpp b10069 が Adreno MUL_MAT 用の OpenCL ブロードキャストサポートを追加

llama.cpp プロジェクトは、Qualcomm Adreno GPU 用の特定の OpenCL アップデートを含むビルド b10069 をリリースしました。主な変更点は、Adreno MUL_MAT カーネルのブロードキャスト操作のサポートと、llama-server でマルチストリーム機能を有効にするために Q8_0 MUL_MAT バリアントのビューオフセットを尊重することです。