github llama.cpp · 1時間前 · inference

llama.cpp b11450 が RPC テンソルサポートを追加し、Apple RDMA フラッシュを修正

翻訳元 English → 日本語

llama.cpp プロジェクトはビルド b11450 をリリースし、リモートプロシージャコール (RPC) の強化とプラットフォーム固有のバグ修正を導入しました。このアップデートにより、RPC 操作で `-sm tensor` フラグが使用可能になり、Apple RDMA 実装に影響を与えていたフラッシュの問題が解決されました。

RPC 設定において `-sm tensor` 引数のサポートを追加。
Apple RDMA システムのデータフラッシュ動作を修正。
graph_uids を rpc_dispatcher モジュールに移動。
ディスパッチャーのスレッドによる不要なスピニングを停止。
RPC のメジャーバージョン番号をアップ。
CPU、GPU、NPU バックエンド向けに macOS、Linux、Windows、Android、openEuler 用のバイナリを提供。

重要度 1/3 信頼度 1/3 llama.cpp Inference efficiency Local inference

原文を読む

github llama.cpp · 6時間前 · 12 回表示

llama.cpp b11440 NextN 抽出フラグが変更されたときにスケジューラを再予約

llama.cpp プロジェクトはバージョン b11440 をリリースし、推測的 MTP 初期化の修正を含んでいます。この更新により、NextN 抽出フラグが変更された際にスケジューラが再予約され、マスクなし抽出の問題が防止されます。

github llama.cpp · 1日前 · 21 回表示

llama.cpp b11413 が量子化されたK/V向けのVulkanスパースフラッシュアテンションを追加

llama.cpp b11413 リリースは、量子化されたKeyおよびValueテンソルをサポートする新しいVulkan実装のスパースフラッシュアテンションを導入しました。この更新は、大きなコンテキストウィンドウを持つデコーディングタスクにはコストが高すぎた以前の圧縮方法のパフォーマンス問題を解決します。

github llama.cpp · 2日前 · 22 回表示

webgpu が Q1_0/Q5_0/Q5_1/Q3_K/Q5_K/Q6_K/MXFP4 の MMVQ サポートを追加

webgpu コンポーネントは、MMVQ（Multi-Mode Vector Quantization）形式のサポートを追加しました。具体的には Q1_0、Q5_0、Q5_1、Q3_K、Q5_K、Q6_K、および MXFP4 です。

media Hugging Face Forums · 2日前 · 27 回表示

Eqx-zooはHugging Faceモデルの検証済みEquinoxポートを提供

著者はeqx-zooを構築しました。これは、Hugging Face HubのチェックポイントをプレーンなEquinoxモジュールとして直接読み込み、各モデルをtransformersライブラリに対して検証するライブラリです。現在、生成にはLlama、Qwen2、Qwen3、Qwen3-MoEをサポートし、埋め込みにはBERT、RoBERTa、XLM-RoBERTaをサポートしています。

media Hugging Face Forums · 5日前 · 28 回表示

AiiStream Q3.6により、8〜16 GBのMacでQwen3.6-35B-A3Bを実行可能に

著者はAiiStream Q3.6をリリースしました。これは、8〜16 GBのRAMを搭載したApple Siliconデバイス上でQwen3.6-35B-A3Bモデルを実行することを可能にするオープンソース技術です。ルーティングされたエキスパートをSSD上に保持し、早期ロード予測を使用することで、この手法はMLXのメモリ使用量を約1.7 GBに削減しつつ、標準的なmlx_lm実装とバイトレベルで完全に一致する出力を維持します。