github llama.cpp · 1時間前 · inference

llama.cpp b11333 が MUL_MAT 操作の WebGPU bfloat16 サポートを追加

翻訳元 English → 日本語

llama.cpp プロジェクトはビルド b11333 をリリースし、WebGPU バックエンド内の MUL_MAT、MUL_MAT_ID、および GET_ROWS 操作に対する bfloat16 サポートを導入しました。

このアップデートは、macOS (Apple Silicon および Intel)、iOS、Linux (Ubuntu x64、arm64、s390x)、Windows、Android、openEuler のプリコンパイル済みバイナリに含まれています。リリースでは、CUDA 12 および 13、Vulkan、ROCm 10.0、OpenVINO、SYCL、Snapdragon NPUs を含むさまざまなハードウェアアクセラレータ向けのビルドが提供されています。

これらの特定の WebGPU 行列操作に bfloat16 精度を追加することで、互換性のある GPU でより効率的な計算が可能になります。

重要度 1/3 信頼度 1/3 llama.cpp Hugging Face Inference efficiency

原文を読む

関連記事

github llama.cpp · たった今 · 1 回表示ライブ

llama.cpp b11335 が sm70 を Turing MMVQ テーブルにルーティングし、Volta のパフォーマンスを向上

llama.cpp プロジェクトはバージョン b11335 をリリースし、Volta GPU 用の CUDA 最適化が含まれています。この更新により、sm_70 アーキテクチャが汎用設定にフォールスルーするのではなく、既存の Turing MMVQ nwarps テーブルにルーティングされます。

github llama.cpp · 23時間前 · 5 回表示

llama.cpp b11309 が安全なscatterモードでHexagon ALLREDUCEを最適化

llama.cppプロジェクトは、Hexagonバックエンドの重要な最適化を含むバージョンb11309をリリースしました。このアップデートは、ALLREDUCE操作に安全なscatterモードのサポートを追加し、Qualcomm Snapdragonデバイスでのパフォーマンスと安定性の向上を目指しています。

github llama.cpp · 2日前 · 9 回表示

llama.cppがk-poolとMTPの修正付きでGLM-5.3-Flashサポートを追加

llama.cppプロジェクトは、GLM-5.3-Flash (GLM5-Next) モデルアーキテクチャの初期サポートを追加しました。これには、ハイブリッドインデックスメモリへの移行と早期のMulti-Token Prediction (MTP) 機能が含まれます。

github llama.cpp · 2日前 · 5 回表示

llama.cpp b11266はIntelのVulkan向けにF32 A行列を一度に2つ読み込む

llama.cppプロジェクトは、Vulkanの最適化を含むビルドb11266をリリースしました。この最適化では、2アラインメントされたF32 A行列を一度に2要素ずつ読み込みます。この変更は、浮動小数点数を一つずつ読み込むのが非効率なIntelハードウェアでのパフォーマンス問題を解決し、元のパッチで`a_offset`の整列に関する検証が欠落していた点も修正します。

github llama.cpp · 2日前 · 2 回表示

llama.cpp b11265 が Vulkan MOE matmul タイル選択を修正

llama.cpp b11265 リリースには、Vulkan バックエンドによる Mixture of Experts (MoE) モデルの処理に関する修正が含まれています。この更新では、`mat_mul_id` が行列乗算タイルを選択する方法が修正され、ディスパッチ中にワーカーがアイドル状態になるパフォーマンスの問題が解消されました。