github llama.cpp · 1時間前 · inference

llama.cpp b10290 が ggml_build_forward_order を追加してオーディオグラフの実行を修正

翻訳元 English → 日本語

llama.cpp プロジェクトはビルド b10290 をリリースし、ggml ライブラリに新しい `ggml_build_forward_order` 関数を導入しました。この変更は、mtmd オーディオグラフのバグに対処するもので、`ggml_build_forward_expand` を純粋な順序付けヒントとして使用すると、選択されていないブランチが古い入力を使用して実行されてしまう問題を修正します。

以前の手法では選択されていないブランチで計算が強制され、古くなった `inp_code0` データのために CPU で `get_rows` の境界アサート失敗が発生していました。
新しい関数は計算フラグなしでノードを挿入し、ブランチが実際に選択された場合にのみそれを復元します。
ビルド b10290 は、macOS (Apple Silicon および Intel)、Linux (CPU、Vulkan、ROCm、OpenVINO、SYCL)、Android、Windows (CPU、CUDA 12/13、Vulkan、OpenCL、OpenVINO、SYCL、HIP)、および openEuler 用のバイナリを提供します。
iOS 用 XCFramework とスタンドアロン UI ビルドもリリースに含まれています。

重要度 1/3 信頼度 1/3 llama.cpp Inference efficiency

原文を読む

関連記事

github llama.cpp · 4時間前 · 1 回表示

llama.cpp b10289 が file_glob_search を強化し、Windows パスの処理を修正

llama.cpp b10289 リリースでは、サーバーの file_glob_search ディレクトリウォークが強化され、Windows ジャンクションでの無限ループが防止され、読み込み不可なディレクトリのエラー報告が改善されました。

media Hugging Face Forums · 6時間前

QuantCheck、4ビット量子化において最終チェックポイントが最適であると仮定しないよう警告

QuantCheckという新しいツールは、プレトレーニングの最終チェックポイントが4ビット量子化にとって最適な選択ではない可能性があると強調しています。ベンチマークが平坦なままであっても、脆弱性が増加する可能性があります。著者はPythia-160mでこのパターンを観察し、最終チェックポイントは同等の品質を持つ早期チェックポイントと比較して約4倍の品質ダメージを受けたことを示しました。

github llama.cpp · 11時間前

llama.cpp b10285 が deepseek-ocr のマルチロウバッチングを追加

llama.cpp プロジェクトはビルド b10285 をリリースし、mtmd モジュールに deepseek-ocr モデル専用のマルチロウバッチングのサポートを導入しました。このアップデートにより、システムは個別に処理するのではなく、単一の操作で deepseek-ocr の行を織り込むことができます。

github llama.cpp · 13時間前

llama.cpp b10282 が /metrics エンドポイントに spec-decode カウンターを追加

llama.cpp プロジェクトはバージョン b10282 をリリースし、推論デコーディングの新しいモニタリング機能を紹介しました。サーバーは now /metrics エンドポイントに spec-decode カウンターを含み、ユーザーはこの機能に関連するパフォーマンスメトリクスを追跡できます。

github llama.cpp · 1日前

llama.cpp b10275 が組み込みツールでWindows OEM出力をUTF-8にデコード

llama.cppプロジェクトはビルドb10275をリリースし、アクセント文字が静かに失われるWindows上の文字エンコーディングの問題を修正しました。この更新により、OEMコードページで書き込む子プロセスからのテキストがJSONレイヤーに到達する前に正しくUTF-8にデコードされることが保証されます。