github llama.cpp · たった今 · inference

llama.cpp b10930 はモデル制限時にモデルのダウンロードを許可

翻訳元 English → 日本語

llama.cpp プロジェクトはバージョン b10930 をリリースしました。これには、ユーザーがモデル制限に達している場合でもモデルのダウンロードを可能にするサーバーコンポーネントの修正が含まれています。

リミットでのダウンロードを有効化することで issue #26809 を解決 (PR #28530)。
macOS Apple Silicon および Intel、iOS、Ubuntu x64/arm64/s390x、Android arm64、Windows x64/arm64、openEuler 用のバイナリを提供。
CPU、Vulkan、ROCm 10.0、OpenVINO、SYCL FP32/FP16、CUDA 12/13、OpenCL Adreno を含む様々なハードウェアバックエンドをサポート。

このアップデートは、ストレージクォータに達したユーザーの継続的な機能性を確保しつつ、広範なプラットフォームサポートを提供します。

重要度 1/3 信頼度 1/3 llama.cpp Inference efficiency Local inference

原文を読む

github llama.cpp · 3時間前 · 1 回表示

llama.cpp b10926 リリースは非対応の tq1_0 量子化を適切に処理する

llama.cpp プロジェクトは、非対応の tq1_0 量子化を適切に失敗させることで処理する修正を含むバージョン b10926 をリリースしました。このアップデートは、特定の量子化フォーマットに遭遇した際の安定性を向上させるため、問題 #28681 に対処しています。

github llama.cpp · 3時間前 · 1 回表示

llama.cpp b10921 が WebGPU テンサーバインディングをブロックサイズにアライン

llama.cpp プロジェクトはビルド b10921 をリリースしました。これには、テンサーバインディングをタイプブロックサイズに合わせて整列させることで WebGPU の修正が含まれています。この変更により、ブロック量子化ビューがシェーダー内で有効な要素オフセットを受け取り、テンサーまでの距離がブロックの整数倍になるまでバインディングオフセットを遡って処理されます。

github llama.cpp · 1日前 · 1 回表示

llama.cpp b10906 がサーバー内の画像後の推論を修正

llama.cpp プロジェクトはバージョン b10906 をリリースし、画像入力後の推論デコードに関するサーバーコンポーネントの修正を含んでいます。この変更により、トークン数ではなく実際の位置がドラフターに渡され、DFlash のみならずすべてのドラフターに影響します。

github llama.cpp · 2日前 · 3 回表示

llama.cpp b10899 が Qwen 用の Vulkan 最適化と split_k サポートを追加

llama.cpp プロジェクトはバージョン b10899 をリリースし、Vulkan バックエンドに特定の性能向上を導入しました。このアップデートは、Qwen モデルファミリーの行列演算の最適化と、小規模な M における全体的なパフォーマンスの強化に焦点を当てています。

github llama.cpp · 2日前 · 4 回表示

llama.cpp b10896 がビジョンモデルでの DFlash デコード失敗を修正

llama.cpp プロジェクトはビルド b10896 をリリースし、DFlash をビジョンモデルで使用する場合にドラフターメモリが新しいトークンを割り当てられない重大な問題を解決しました。この失敗は、画像が固定オフセットを報告し、適切なトークン割り当てを防ぐことが原因で発生していました。