github llama.cpp · 1時間前 · inference

llama.cpp b11403 は小さなバッチサイズで薄い f16/bf16 mul_mat に MMVF を使用

翻訳元 English → 日本語

llama.cpp プロジェクトはバージョン b11403 をリリースしました。これには、小さなバッチサイズで薄い f16 および bf16 行列乗算に MMVF カーネルを使用する CUDA 最適化が含まれています。

NVIDIA GPU でのパフォーマンス向上のためにカーネル選択ロジックを調整しました。
macOS (Apple Silicon および Intel)、Linux (CPU、Vulkan、CUDA 12/13、ROCm、OpenVINO、SYCL、Snapdragon)、Windows (CPU、OpenCL、CUDA 12/13、Vulkan、OpenVINO、SYCL、ROCm)、Android、openEuler 用のバイナリを提供しました。
標準的なバイナリに加えて、iOS XCFramework および UI ビルドを含めました。

重要度 1/3 信頼度 1/3 llama.cpp Hugging Face Inference efficiency

原文を読む

github llama.cpp · 1時間前 · 1 回表示ライブ

llama.cpp b11405、4つのヘッド向けにキーとトークンに対してライトニングインデクサをタイル化

llama.cpp b11405 リリースは、CUDA バックエンドを更新し、4 つのヘッド向けにキーとトークンに対してライトニングインデクサをタイル化することで、小さなヘッド数におけるパフォーマンスの問題に対処します。

github llama.cpp · 19時間前 · 28 回表示

llama.cpp b11390 が CUDA MMQ メモリ障害を修正

llama.cpp プロジェクトはバージョン b11390 をリリースしました。これは、エキスパート数がマイクロバッチサイズより大幅に大きい場合に発生する CUDA MMQ メモリ障害の修正を含んでいます。

github llama.cpp · 2日前 · 24 回表示

llama.cpp b11375 が GGML_SCHED_NO_REALLOC 下のグラフ再割り当て中止を修正

llama.cpp プロジェクトはビルド b11375 をリリースし、非連続の ubatch セルが GGML_SCHED_NO_REALLOC フラグが設定されている場合に中止を引き起こすグラフ再割り当てを強制する重大な問題を解決しました。

github llama.cpp · 2日前 · 29 回表示

llama.cpp b11372がqwen4expインデクサーのメモリを半減させ、CUDA 4ヘッドサポートを追加

llama.cpp b11372リリースは、qwen4expモデルのライトニングインデクサーの最適化を導入し、主に長期コンテキスト処理中のインデクサースコアに必要なメモリを半減させます。これは、各ヘッドのために個別のテンソルを生成するのではなく、ヘッドスコアをその場で計算することで実現されます。

github llama.cpp · 2日前 · 30 回表示

llama.cpp b11368 が単純ドラフトと MTP のための確率的サンプリングを追加

llama.cpp プロジェクトはビルド b11368 をリリースし、単純ドラフトおよび MTP（Multi-Token Prediction）ワークフローに確率的サンプリングを導入しました。この更新では、拒否サンプリングによってターゲットを検証しながら確率的選択を使用するようドラフティングメカニズムが変更されました。