github llama.cpp · 1時間前 · inference

llama.cpp が Apple M3 Max、M5、M5 Pro 向けに fa-vec 調整を追加

翻訳元 English → 日本語

llama.cpp プロジェクトは、Metal のパフォーマンスを向上させるため、Apple M3 Max、M5、および M5 Pro GPU 用の高速注意ベクトル (fa-vec) 調整レコードを追加しました。

Apple M5 用の調整は、f16 および q8_0 データ型を使用して M5 マシンで生成されました。
Apple M5 Pro のレコードは、20 の GPU コアにわたる F16、Q4_0、および Q8_0 フォーマットをカバーしています。
M3 Max のサポートには、低電力モードで 64GB を搭載した MacBook Pro での F16 および Q8_0 構成が含まれます。

これらの更新により、Metal のアクセラレーション機能が最新の Apple silicon アーキテクチャに拡張されました。

重要度 1/3 信頼度 1/3 llama.cpp Hugging Face Inference efficiency

原文を読む

github llama.cpp · 14時間前 · 3 回表示

llama.cpp b10665 が Nemotron3.5 の DSpark サポートを追加

llama.cpp プロジェクトはビルド b10665 をリリースし、Nemotron3.5 モデルの DSpark サポートを導入しました。

github llama.cpp · 17時間前 · 7 回表示

llama.cpp が Qwen3.8-Flash-Next (qwen4exp) アーキテクチャのサポートを追加

llama.cpp プロジェクトは、Qwen3.8-Flash-Next (qwen4exp) モデルアーキテクチャのサポートを追加し、ハイパー接続、ゲート付きデルタネット、Experts of Mixture、PLE n-gram ハッシュ埋め込みなどの特定のコンポーネントを実装しました。

github llama.cpp · 1日前 · 8 回表示

llama.cpp b10653でモデル読み込みにTENSOR_READ_LAZYが追加

llama.cppプロジェクトはビルドb10653をリリースし、モデルローダーにTENSOR_READ_LAZY機能を導入しました。この変更には、TENSOR_GET_ROW_LAZY関数の追加と対応する--tensor-read-lazyコマンドラインフラグが含まれます。

github llama.cpp · 1日前 · 7 回表示

llama.cpp b10655 が Vulkan 上の Deepseek V4 演算に対して LIGHTNING_INDEXER サポートを追加

llama.cpp プロジェクトはビルド b10655 をリリースし、Deepseek V4 演算を有効にするために Vulkan バックエンド内で LIGHTNING_INDEXER 演算のサポートを導入しました。

github llama.cpp · 2日前 · 6 回表示

llama.cpp b10639 が Vulkan の warptile ワープサイズ仮定を修正

llama.cpp プロジェクトはビルド b10639 をリリースしました。これには、warptiles が以前にワープサイズが 64 以下であると想定していた Vulkan バックエンドの修正が含まれています。この変更により、より大きなワープに関連する問題を回避するためにワープサイズが制限されました。