github llama.cpp · 12時間前 · inference

llama.cpp b10989がROCmでAllReduceを有効化し、マルチプラットフォームバイナリを提供

翻訳元 English → 日本語

llama.cppプロジェクトは、ROCmバックエンド内でAllReduce操作を有効にするサポートを導入したバージョンb10989をリリースしました。このアップデートは、大規模言語モデル推論のためのハードウェア互換性と分散コンピューティング機能を拡大するための継続的な開発の一環です。

リリースには、macOS（Apple SiliconとIntel）、Linux（Ubuntu x64、arm64、s390x）、Windows、Android用のビルド済みバイナリが含まれます。
GPUアクセラレーションオプションは、CUDA 12.8/13.3、Vulkan、OpenVINO、SYCL FP32/FP16、およびROCm 10.0を含むように拡大され、対応プラットフォーム全体で利用可能です。
openEuler x86およびaarch64アーキテクチャ用の特定のビルドが提供されており、910bプロセッサでのACL Graphサポートが含まれます。
コアライブラリのリリースと並行して、スタンドアロンのUIバイナリも利用可能です。

このリリースにより、ユーザーはAllReduce機能を活用したROCmベースのAMD GPUを利用できるとともに、さまざまなオペレーティングシステムやハードウェアアクセラレーター用の更新されたバイナリを提供します。

重要度 1/3 信頼度 1/3 llama.cpp Hugging Face Inference efficiency

原文を読む

関連記事

github llama.cpp · 4時間前 · 1 回表示

llama.cpp b10995 が Vulkan MUL_MAT_ID の BN/2 テールを無条件にする

llama.cpp プロジェクトはビルド b10995 をリリースし、Vulkan バックエンドの MUL_MAT_ID オペレーションの処理を変更しました。具体的には、BNover2 のデフォルトとして BN/2 を使用し、BNover4 の無効なフォールバックとして使用することで BN/2 テールを無条件にし、そのブランチから有効化ゲートを削除しています。

github llama.cpp · 16時間前 · 1 回表示

llama.cpp b10988 が推論デコーディング用の OpenCL MoE エキスパート行列乗算選択を追加

llama.cpp プロジェクトはビルド b10988 をリリースし、Mixture of Experts (MoE) モデル用に OpenCL バックエンドに変更を加えました。このアップデートは、推論デコーディングとマルチトークン予測中にバッチサイズに基づいて MoE エキスパート行列乗算を選択するロジックを実装しました。

github llama.cpp · 21時間前 · 1 回表示

llama.cpp b10984 が CUDA の行連続 SUM_ROWS サポートを追加

llama.cpp プロジェクトはバージョン b10984 をリリースし、行連続の SUM_ROWS 操作に対する CUDA サポートを導入しました。このアップデートでは、共有カーネルを通じて行連続テンソルを処理するために GGML_OP_MEAN を含むようにコードが整理されました。

github llama.cpp · 21時間前 · 1 回表示

llama.cpp b10985 は RPC ハッシュキャッシュを重みに制限

llama.cpp プロジェクトはビルド b10985 をリリースし、ハッシュベースのキャッシングを重みテンソンのみに制限するために RPC バックエンドを変更しました。この変更は、アクティベーションデータが不要にハッシュ化および保存され、ディスク使用量が過大になる問題を解決します。

github llama.cpp · 1日前 · 4 回表示

llama.cpp b10981がGemma-4のステートフルデコードを修正し、GPU上のMoE推論を最適化

llama.cpp b10981リリースは、OpenVINOバックエンドのステートフルデコードパスにおける重大な正確性の問題を解決し、特にレイヤーごとのヘッドサイズを使用するGemma-4などのモデルのサポートを修正します。また、GPU上のMixture of Experts (MoE) 推論の最適化を導入し、KV状態のリレイアウトを通じてパフォーマンスを向上させます。