github llama.cpp · たった今 · inference

llama.cpp b10906 がサーバー内の画像後の推論を修正

翻訳元 English → 日本語

llama.cpp プロジェクトはバージョン b10906 をリリースし、画像入力後の推論デコードに関するサーバーコンポーネントの修正を含んでいます。この変更により、トークン数ではなく実際の位置がドラフターに渡され、DFlash のみならずすべてのドラフターに影響します。

ドラフトパラメータ `n_past` が `pos0` にリネームされ、トークン数ではなく位置インジケーターとしての役割を正確に反映しました。
macOS (Apple Silicon および Intel)、iOS、Linux (CPU、Vulkan、ROCm、OpenVINO、SYCL)、Android、Windows (CPU、CUDA、OpenCL、Vulkan、OpenVINO、SYCL、ROCm)、および openEuler 用のビルド済みバイナリを提供しました。

このアップデートはパラメータ名の不一致を修正し、サーバーの推論デコードロジックにおける適切な位置処理を保証します。

重要度 1/3 信頼度 1/3 llama.cpp Inference efficiency Local inference

原文を読む

github llama.cpp · 16時間前 · 2 回表示

llama.cpp b10899 が Qwen 用の Vulkan 最適化と split_k サポートを追加

llama.cpp プロジェクトはバージョン b10899 をリリースし、Vulkan バックエンドに特定の性能向上を導入しました。このアップデートは、Qwen モデルファミリーの行列演算の最適化と、小規模な M における全体的なパフォーマンスの強化に焦点を当てています。

github llama.cpp · 19時間前 · 1 回表示

llama.cpp b10896 がビジョンモデルでの DFlash デコード失敗を修正

llama.cpp プロジェクトはビルド b10896 をリリースし、DFlash をビジョンモデルで使用する場合にドラフターメモリが新しいトークンを割り当てられない重大な問題を解決しました。この失敗は、画像が固定オフセットを報告し、適切なトークン割り当てを防ぐことが原因で発生していました。

github llama.cpp · 3日前 · 2 回表示

llama.cpp が iGPU でデフォルトの遅延テンソル読み込みを無効化

llama.cpp プロジェクトは、b10867 リリースで統合 GPU (iGPU) に対するデフォルトの遅延テンソル読み込みを無効にしました。この変更は、以前の「AUTO」遅延モード設定で導入された回帰に対処するものです。

github llama.cpp · 3日前 · 4 回表示

llama.cpp b10864 がハイブリッドモデルのチェックポイント_eviction_を修正

llama.cpp プロジェクトはビルド b10864 をリリースしました。これには `create_checkpoint()` 内のチェックポイント間隔_eviction_ロジックの修正が含まれています。以前、_eviction_ルールは最も古いチェックポイントを保持し、`checkpoint_min_step` 内の後のチェックポイントを消去していました。その結果、この閾値より短いプロンプトは再開に必要なチェックポイントを失いました。これにより、ハイブリッドおよび再帰モデルは前のチェックポイントから不要にプリフィルする必要がありました。

github llama.cpp · 4日前 · 11 回表示

llama.cpp b10844がVulkanのDeepSeek-V4ハイパーコネクション融合演算を追加

llama.cppプロジェクトはバージョンb10844をリリースし、VulkanバックエンドでDeepSeek-V4ハイパーコネクション融合演算（DSV4_HC_COMB/PRE/POST）のサポートを導入しました。この更新により、これらの特定の最適化に関してVulkanがCUDAおよびMetalと同等の機能を持つようになりました。