github llama.cpp · 1時間前 · inference

llama.cpp v0.5.0がHRM-Textサポート、CUDA conv2dの高速化、マルチアドレスバインディングを追加

翻訳元 English → 日本語

llama.cppプロジェクトはバージョン0.5.0をリリースし、バックエンドのパフォーマンス、より広範なモデル対応、そしてより堅牢なサーバー運用に焦点を当てています。このアップデートでは、HRM-Text (DFM Mimir 1B) や MiMo-V2.6 といった新しいアーキテクチャのサポートを導入し、CUDA および Metal の最適化を通じて計算効率を大幅に向上させました。

暗黙的 GEMM を使用して CUDA conv2d 操作を高速化。
Metal MoE および SSM_CONV の融合最適化を追加。
コンマ区切りの TCP アドレスと UNIX ソケット経由でサーバーが複数のアドレスにバインドできるようにしました。
input_image サポートを追加することで、関数呼び出しからの画像出力を有効化。
ggml を v0.25.0 に更新し、バックエンド全体でハイパー接続およびフラッシュアテンションのサポートを拡大。

今回のリリースでは、ルーターによって生成された子プロセスの安定性が向上し、いくつかのチャットパーサーの問題が修正され、llama.cpp を本番環境でデプロイするユーザーにとってより信頼性の高い運用が保証されました。

重要度 1/3 信頼度 1/3 llama.cpp Hugging Face Inference efficiency Local inference

原文を読む

関連記事

github llama.cpp · 14時間前 · 12 回表示

llama.cpp b11122 が MMVQ GLU 融合を拡張し、新しい SYCL 融合を追加

llama.cpp プロジェクトはバージョン b11122 をリリースしました。これには SYCL バックエンドの重要な更新が含まれています。このリリースでは、MMVQ GLU 融合が混合量子化タイプをサポートするように拡張され、rms_norm+scale および ssm_conv+silu 演算のための新しい融合が導入されました。

github llama.cpp · 1日前 · 11 回表示

llama.cppがHunyuanOCRのDFlashサポートを追加し、ドラフト変換を修正

llama.cppプロジェクトは、ターゲットグラフ内のレイヤー入力テンソルを公開することで、HunyuanOCRモデルとのDFlash推測デコーディングのサポートを追加しました。この変更により、ドラフトモデルが残差ストリームを読み取れるようになり、非推測実行と比較して約0.5のドラフト受容率とバイトレベルで同一のOCR出力を得ながら、画像リクエストを正常に実行できるようになりました。

lab Hugging Face Blog · 1日前 · 14 回表示

Transformersがggmlカーネル経由でGGUFサポートを追加し、ローカル推論に対応

Hugging FaceのTransformersライブラリは、基盤となるggmlカーネルを活用してllama.cppに近いパフォーマンスを実現しつつ、GGUF量子化モデルの読み込みをサポートするようになりました。この統合により、開発者は対応ハードウェア上で標準的なPyTorchベースのAPI内で量子化済みチェックポイントを直接実行できます。

github llama.cpp · 5日前 · 22 回表示

llama.cpp b11046 が flash_attn_f32_f16_bin カーネルの OpenCL サポートを追加

llama.cpp プロジェクトはバージョン b11046 をリリースし、`flash_attn_f32_f16_bin` カーネルの OpenCL サポートを導入しました。このアップデートには、OpenCL デバイス上の Flash Attention 用のガード付きプリフィル機能も含まれています。

github llama.cpp · 6日前 · 18 回表示

llama.cpp b11019が埋め込みファイルのGGUFデータアラインメントを修正し、LoRA読み込みを追加

llama.cppプロジェクトはバージョンb11019をリリースし、非アラインメントオフセットに埋め込まれたGGUFファイルが誤ったテンソルデータを返す重大なバグを修正しました。この更新では、ファイルの先頭ではなくオフセット0相対でGGUFデータセクションをアラインメントし、埋め込みモデルの正しい読み込みを保証します。