github llama.cpp · 8時間前 · inference

llama.cpp b10653でモデル読み込みにTENSOR_READ_LAZYが追加

翻訳元 English → 日本語

llama.cppプロジェクトはビルドb10653をリリースし、モデルローダーにTENSOR_READ_LAZY機能を導入しました。この変更には、TENSOR_GET_ROW_LAZY関数の追加と対応する--tensor-read-lazyコマンドラインフラグが含まれます。

モデルローダーにTENSOR_READ_LAZYおよびTENSOR_GET_ROW_LAZYを追加。
遅延テンソル読み込みを有効にするための--tensor-read-lazy CLIオプションを導入。
macOS (Apple SiliconおよびIntel)、Linux (CPU、Vulkan、ROCm、OpenVINO、SYCL)、Windows (CPU、CUDA 12/13、Vulkan、OpenVINO、SYCL、ROCm)、Android、iOS用のバイナリを提供。

このリリースでは、コアライブラリに新しい遅延読み込み機能が追加され、サポートされているプラットフォーム全体でプリビルドバイナリが配布されています。

重要度 1/3 信頼度 1/3 llama.cpp Hugging Face Inference efficiency Local inference

原文を読む

github llama.cpp · 1時間前 · 1 回表示ライブ

llama.cpp が Qwen3.8-Flash-Next (qwen4exp) アーキテクチャのサポートを追加

llama.cpp プロジェクトは、Qwen3.8-Flash-Next (qwen4exp) モデルアーキテクチャのサポートを追加し、ハイパー接続、ゲート付きデルタネット、Experts of Mixture、PLE n-gram ハッシュ埋め込みなどの特定のコンポーネントを実装しました。

github llama.cpp · 6日前 · 11 回表示

llama.cpp b10568 が DeepSeek 2 に ggml_rope_set_offset() を使用

llama.cpp プロジェクトはビルド b10568 をリリースし、モデル処理を `ggml_rope_set_offset()` 関数を使用するように更新しました。この変更は DeepSeek 2 のサポートのために部分的に適用されています。

github llama.cpp · 7日前 · 17 回表示

llama.cpp b10541 がマルチモーダルプロジェクト用の --mmproj-device 引数を追加

llama.cpp プロジェクトはビルド b10541 をリリースし、マルチモーダル投影ファイルの読み込みに使用するデバイスバックエンドをユーザーが指定できるようにする `--mmproj-device` コマンドライン引数を導入しました。

github llama.cpp · 7日前 · 7 回表示

llama.cpp b10532がFlash Attention向けのMetal KV dequantizationを追加

llama.cppプロジェクトはバージョンb10532をリリースし、Metalバックエンドで量子化されたKey-Value (KV) キャッシュをF16にデ量子化する前処理パスを導入しました。これはFlash Attentionの実行前に適用されます。

github llama.cpp · 7日前 · 13 回表示

llama.cpp b10517 が Vulkan FA 脱量子化の最適化と修正を追加

llama.cpp プロジェクトはビルド b10517 をリリースし、フラッシュアテンション (FA) 脱量子化パスに Vulkan 固有の改善をいくつか導入しました。主な変更点には、coopmat1 で q8_0 KV を一度脱量子化する、coopmat2 で FA 脱量子化パスをスキップする、Intel Xe1 を FA 脱量子化パスから除外するなどが含まれます。