github llama.cpp · たった今 · inference

llama.cpp b10921 が WebGPU テンサーバインディングをブロックサイズにアライン

翻訳元 English → 日本語

llama.cpp プロジェクトはビルド b10921 をリリースしました。これには、テンサーバインディングをタイプブロックサイズに合わせて整列させることで WebGPU の修正が含まれています。この変更により、ブロック量子化ビューがシェーダー内で有効な要素オフセットを受け取り、テンサーまでの距離がブロックの整数倍になるまでバインディングオフセットを遡って処理されます。

今回のリリースでは、macOS（Apple Silicon および Intel）、iOS、Linux（CPU、Vulkan、ROCm、OpenVINO、SYCL バックエンド付き Ubuntu）、Android、Windows（CPU、CUDA 12/13、Vulkan、OpenVINO、SYCL、ROCm）、openEuler 用のバイナリとフレームワークが提供されています。

このアップデートにより、WebGPU シェーダーでのテンサー処理が正しく行われながら、幅広いハードウェアアーキテクチャおよびバックエンド実装へのサポートが維持されます。

重要度 1/3 信頼度 1/3 llama.cpp Inference efficiency Local inference

原文を読む

関連記事

github llama.cpp · 23時間前 · 1 回表示

llama.cpp b10906 がサーバー内の画像後の推論を修正

llama.cpp プロジェクトはバージョン b10906 をリリースし、画像入力後の推論デコードに関するサーバーコンポーネントの修正を含んでいます。この変更により、トークン数ではなく実際の位置がドラフターに渡され、DFlash のみならずすべてのドラフターに影響します。

github llama.cpp · 2日前 · 3 回表示

llama.cpp b10899 が Qwen 用の Vulkan 最適化と split_k サポートを追加

llama.cpp プロジェクトはバージョン b10899 をリリースし、Vulkan バックエンドに特定の性能向上を導入しました。このアップデートは、Qwen モデルファミリーの行列演算の最適化と、小規模な M における全体的なパフォーマンスの強化に焦点を当てています。

github llama.cpp · 2日前 · 4 回表示

llama.cpp b10896 がビジョンモデルでの DFlash デコード失敗を修正

llama.cpp プロジェクトはビルド b10896 をリリースし、DFlash をビジョンモデルで使用する場合にドラフターメモリが新しいトークンを割り当てられない重大な問題を解決しました。この失敗は、画像が固定オフセットを報告し、適切なトークン割り当てを防ぐことが原因で発生していました。

github llama.cpp · 4日前 · 2 回表示

llama.cpp が iGPU でデフォルトの遅延テンソル読み込みを無効化

llama.cpp プロジェクトは、b10867 リリースで統合 GPU (iGPU) に対するデフォルトの遅延テンソル読み込みを無効にしました。この変更は、以前の「AUTO」遅延モード設定で導入された回帰に対処するものです。

github llama.cpp · 4日前 · 5 回表示

llama.cpp b10864 がハイブリッドモデルのチェックポイント_eviction_を修正

llama.cpp プロジェクトはビルド b10864 をリリースしました。これには `create_checkpoint()` 内のチェックポイント間隔_eviction_ロジックの修正が含まれています。以前、_eviction_ルールは最も古いチェックポイントを保持し、`checkpoint_min_step` 内の後のチェックポイントを消去していました。その結果、この閾値より短いプロンプトは再開に必要なチェックポイントを失いました。これにより、ハイブリッドおよび再帰モデルは前のチェックポイントから不要にプリフィルする必要がありました。