github llama.cpp · 2時間前 · inference

webgpu が Q1_0/Q5_0/Q5_1/Q3_K/Q5_K/Q6_K/MXFP4 の MMVQ サポートを追加

翻訳元 English → 日本語

webgpu コンポーネントは、MMVQ（Multi-Mode Vector Quantization）形式のサポートを追加しました。具体的には Q1_0、Q5_0、Q5_1、Q3_K、Q5_K、Q6_K、および MXFP4 です。

この更新により、llama.cpp リポジトリの issue #29 が解決され、webgpu 環境内での量子化機能が拡張されました。

重要度 1/3 信頼度 1/3 llama.cpp Inference efficiency Local inference

media Hugging Face Forums · 8時間前 · 14 回表示

Eqx-zooはHugging Faceモデルの検証済みEquinoxポートを提供

著者はeqx-zooを構築しました。これは、Hugging Face HubのチェックポイントをプレーンなEquinoxモジュールとして直接読み込み、各モデルをtransformersライブラリに対して検証するライブラリです。現在、生成にはLlama、Qwen2、Qwen3、Qwen3-MoEをサポートし、埋め込みにはBERT、RoBERTa、XLM-RoBERTaをサポートしています。

media Hugging Face Forums · 3日前 · 20 回表示

AiiStream Q3.6により、8〜16 GBのMacでQwen3.6-35B-A3Bを実行可能に

著者はAiiStream Q3.6をリリースしました。これは、8〜16 GBのRAMを搭載したApple Siliconデバイス上でQwen3.6-35B-A3Bモデルを実行することを可能にするオープンソース技術です。ルーティングされたエキスパートをSSD上に保持し、早期ロード予測を使用することで、この手法はMLXのメモリ使用量を約1.7 GBに削減しつつ、標準的なmlx_lm実装とバイトレベルで完全に一致する出力を維持します。

github llama.cpp · 4日前 · 28 回表示

llama.cpp b11307 が推論デコーディングのためにバッチ順序を保持

llama.cpp プロジェクトはビルド b11307 をリリースし、推論デコーディング中に元のバッチシーケンスを保持するためにレイヤー入力の順序を修正しました。この変更により、マスクされていない NextN 埋め込みのトークン順序が正しく維持され、テンソル分割と互換性を持つことが保証されます。

github llama.cpp · 4日前 · 19 回表示

llama.cpp b11301 が ggml/gguf の整数オーバーフローを修正

llama.cpp プロジェクトはビルド b11301 をリリースしました。これには、ggml および gguf コンポーネント内の整数オーバーフロー問題の修正が含まれています。このアップデートは、ゼロ要素テンザルの処理時に潜在的なエラーを防ぐための検証ロジックを改善しています。

github llama.cpp · 4日前 · 20 回表示

llama.cpp b11302 で ThreadSanitizer のスパースインデクサにおけるデータ競合を修正

llama.cpp プロジェクトは、CIパイプラインでThreadSanitizerによって特定された重大な並行性問題を解決するビルド b11302 をリリースしました。この更新では、複数のCPUスレッドが同じメモリ要素に誤って書き込んでいたスパースアテンションメカニズム内のデータ競合を解消しました。