github llama.cpp · 1時間前 · inference

llama.cpp b10926 リリースは非対応の tq1_0 量子化を適切に処理する

翻訳元 English → 日本語

llama.cpp プロジェクトは、非対応の tq1_0 量子化を適切に失敗させることで処理する修正を含むバージョン b10926 をリリースしました。このアップデートは、特定の量子化フォーマットに遭遇した際の安定性を向上させるため、問題 #28681 に対処しています。

今回のリリースでは、macOS（Apple Silicon および Intel）、Linux（CPU、Vulkan、ROCm 10.0、OpenVINO、SYCL バックエンド付き Ubuntu）、Android（arm64）、Windows（CPU、OpenCL Adreno、CUDA 12/13、Vulkan、OpenVINO、SYCL、ROCm 10.0）および openEuler アーキテクチャ向けのバイナリが提供されています。

このアップデートにより、モデルが tq1_0 量子化スキームを使用している場合でも、ユーザーはクラッシュすることなく llama.cpp を継続して使用できるようになります。

重要度 1/3 信頼度 1/3 llama.cpp Inference efficiency Local inference

原文を読む

関連記事

github llama.cpp · 1時間前 · 1 回表示ライブ

llama.cpp b10921 が WebGPU テンサーバインディングをブロックサイズにアライン

llama.cpp プロジェクトはビルド b10921 をリリースしました。これには、テンサーバインディングをタイプブロックサイズに合わせて整列させることで WebGPU の修正が含まれています。この変更により、ブロック量子化ビューがシェーダー内で有効な要素オフセットを受け取り、テンサーまでの距離がブロックの整数倍になるまでバインディングオフセットを遡って処理されます。

github llama.cpp · 1日前 · 1 回表示

llama.cpp b10906 がサーバー内の画像後の推論を修正

llama.cpp プロジェクトはバージョン b10906 をリリースし、画像入力後の推論デコードに関するサーバーコンポーネントの修正を含んでいます。この変更により、トークン数ではなく実際の位置がドラフターに渡され、DFlash のみならずすべてのドラフターに影響します。

github llama.cpp · 2日前 · 3 回表示

llama.cpp b10899 が Qwen 用の Vulkan 最適化と split_k サポートを追加

llama.cpp プロジェクトはバージョン b10899 をリリースし、Vulkan バックエンドに特定の性能向上を導入しました。このアップデートは、Qwen モデルファミリーの行列演算の最適化と、小規模な M における全体的なパフォーマンスの強化に焦点を当てています。

github llama.cpp · 2日前 · 4 回表示

llama.cpp b10896 がビジョンモデルでの DFlash デコード失敗を修正

llama.cpp プロジェクトはビルド b10896 をリリースし、DFlash をビジョンモデルで使用する場合にドラフターメモリが新しいトークンを割り当てられない重大な問題を解決しました。この失敗は、画像が固定オフセットを報告し、適切なトークン割り当てを防ぐことが原因で発生していました。

github llama.cpp · 4日前 · 2 回表示

llama.cpp が iGPU でデフォルトの遅延テンソル読み込みを無効化

llama.cpp プロジェクトは、b10867 リリースで統合 GPU (iGPU) に対するデフォルトの遅延テンソル読み込みを無効にしました。この変更は、以前の「AUTO」遅延モード設定で導入された回帰に対処するものです。