github llama.cpp · 1時間前 · inference

llama.cpp b10924でルーター状態コマンドの解析を修正し、ダウンロードが停止する問題を防止

翻訳元 English → 日本語

llama.cppプロジェクトはビルドb10924をリリースしました。これは、サーバーのルーターにおけるバグに対応するもので、子状態コマンドが完全な行としてフレーム化されていなかった問題です。この問題は、ロガーがstderr上で改行なしで末尾の色リセットエスケープシーケンスを出力し、共有パイプ経由でstdoutから読み取られた次のコマンドに付着してしまうことが原因でした。

修正により、コマンドの先頭に改行を追加して常に行境界で開始されるようにし、ルーターが状態コマンドをログ行として誤解釈するのを防ぎます。
これにより、完了したダウンロードが失敗した行プレフィックスチェックのためダウンロード状態のまま停止していた問題が解決しました。
リリースにはmacOS（Apple SiliconおよびIntel）、iOS、Linux（CPU、Vulkan、ROCm、OpenVINO、SYCL）、Android、Windows（CPU、CUDA 12/13、Vulkan、OpenVINO、SYCL、ROCm）、openEulerのバイナリが含まれています。

このアップデートにより、llama.cppサーバー環境でのダウンロード完了処理の信頼性が確保されます。

重要度 1/3 信頼度 1/3 llama.cpp Inference efficiency

原文を読む

関連記事

github llama.cpp · たった今 · 1 回表示ライブ

llama.cpp b10921 が WebGPU テンサーバインディングをブロックサイズにアライン

llama.cpp プロジェクトはビルド b10921 をリリースしました。これには、テンサーバインディングをタイプブロックサイズに合わせて整列させることで WebGPU の修正が含まれています。この変更により、ブロック量子化ビューがシェーダー内で有効な要素オフセットを受け取り、テンサーまでの距離がブロックの整数倍になるまでバインディングオフセットを遡って処理されます。

github llama.cpp · たった今 · 1 回表示ライブ

llama.cpp b10922 が OpenCL A8 Q4_K バイナリカーネルを追加

llama.cpp プロジェクトはバージョン b10922 をリリースし、A8 Q4_K non-MoE 行列乗算用の新しい OpenCL バイナリカーネルを導入しました。このアップデートには、レイアウトの互換性の修正とコードベース内のバイナリカーネル選択ヘルパーの名前変更も含まれています。

media Latent Space · 3時間前 · 1 回表示

DeepSeekが効率的な推論のための763B-P8B-D16Bアーキテクチャを持つv4.1-Flashをリリース

DeepSeekは、新しいオープンウェイトのフラッグシップモデルであるDeepSeek v4.1-Flashをリリースしました。このモデルは、推論効率を最大化しコストを削減するために設計された新たな因果エンコーダ・デコーダアーキテクチャを採用しています。

github llama.cpp · 5時間前 · 1 回表示

hexagon がモデル並列化のためのマルチデバイス行分割サポートを追加

hexagon バックエンドは、行分割戦略を使用して複数のデバイスにモデルを分割するサポートを導入します。この変更により、融合カーネルでのワーク分散が可能になり、デバイスグループを処理するようにデバイス構成が更新されます。

media Hugging Face Forums · 7時間前 · 1 回表示

ベンダーニュートラルなメモリ予算対応実行を備えたAIランタイムの提案

Hugging Faceフォーラムでの提案は、NVIDIA、AMD、Intelといった特定のハードウェアベンダーからアプリケーションコードを切り離すために設計された共通のGPU実行およびメモリ管理レイヤーについて述べています。この目的は、ユーザーがバックエンド固有のフラグ、デバイスマップ、またはオフロード戦略を手動で設定するのではなく、メモリ予算を指定できるようにすることです。