github llama.cpp · たった今 · inference

llama.cpp b11160 が AMD RDNA3/4 向けに int8 coopmat1 matmul と IQ4_XS サポートを追加

翻訳元 English → 日本語

llama.cpp プロジェクトはバージョン b11160 をリリースし、AMD RDNA3 および RDNA4 アーキテクチャの Vulkan 向けに int8 協調行列 (coopmat1) の実装を導入しました。このアップデートには、パフォーマンスを向上させるために coopmat の値を直接プローブする専用シェーダーが含まれています。

mul_mmq_cm1 整数 matmul シェーダーに IQ4_XS 量子化サポートを追加。
Vulkan バックエンド向けにインラインスケーリング適用、スカラ合計、およびダブルバッファリングを実装。
q8_0, q4_1, q5_0, q5_1, iq4_nl, mxfp4, q3_k, q4_k, q5_k, q6_k、および nvfp4 量子化をサポート。
CPU、CUDA、ROCm、OpenVINO、および SYCL バックエンド across macOS、Linux、Windows、Android、および openEuler のバイナリを含みます。

重要度 1/3 信頼度 1/3 llama.cpp Hugging Face Hardware & chips Inference efficiency

原文を読む

media Hugging Face Forums · 29日前 · 38 回表示

EdgeFirstが20のエッジプラットフォームでYOLOモデルを検証するRustパイプラインを公開

EdgeFirstはHugging FaceにEdgeFirst Model Zooを公開し、20の異なるエッジプラットフォームで検証されたYOLOv5、YOLOv8、YOLO11、およびYOLO26モデルを搭載しています。この検証は、ターゲットハードウェア上でゼロコピーDMA前処理、モデルデコード、後処理を直接処理する単一のRustパイプラインに依存しています。

github llama.cpp · 51日前 · 35 回表示

llama.cpp b10255がoneDNN SDPAを非FP16 KVキャッシュに拡張

llama.cpp b10255リリースは、Q4_0–Q8_0量子化フォーマットとFP32を含む非FP16キーバリュー（KV）キャッシュをサポートするために、oneDNN SDPAパスを拡張します。この更新により、K/Vテンソルを処理前にデバイス上でデ量子化または密集FP16に変換することで、融合型 systolic カーネルがネイティブFP16パスと同一に実行可能になります。

media r/LocalLLaMA · 81日前 · 29 回表示

llama.cppがgfx900 GPUの密集プリフィルにhipBLASを使用

llama.cppリポジトリへのプルリクエストにより、AMD gfx900アーキテクチャのGPUにおける密集プリフィル操作にhipBLASを利用する変更が導入されました。この修正は、Radeon RX Vega 56/64やRadeon Pro VegaシリーズなどのレガシーVega GPUハードウェアを対象としています。

github llama.cpp · 4時間前 · 2 回表示

llama.cpp b11158 が Adreno GPU 用の KHR cooperative matrix サポートを有効化

llama.cpp プロジェクトはビルド b11158 をリリースし、Vulkan バックエンド経由で Adreno GPU 用に特別に調整された KHR cooperative matrix サポートを含んでいます。

github llama.cpp · 18時間前 · 3 回表示

llama.cpp v0.5.0がHRM-Textサポート、CUDA conv2dの高速化、マルチアドレスバインディングを追加

llama.cppプロジェクトはバージョン0.5.0をリリースし、バックエンドのパフォーマンス、より広範なモデル対応、そしてより堅牢なサーバー運用に焦点を当てています。このアップデートでは、HRM-Text (DFM Mimir 1B) や MiMo-V2.6 といった新しいアーキテクチャのサポートを導入し、CUDA および Metal の最適化を通じて計算効率を大幅に向上させました。