github llama.cpp · 1時間前 · inference

llama.cpp b11390 が CUDA MMQ メモリ障害を修正

翻訳元 English → 日本語

llama.cpp プロジェクトはバージョン b11390 をリリースしました。これは、エキスパート数がマイクロバッチサイズより大幅に大きい場合に発生する CUDA MMQ メモリ障害の修正を含んでいます。

Mixture-of-Experts (MMQ) 処理に関連する CUDA バックエンドのメモリ障害を解決します。
macOS (Apple Silicon および Intel)、Linux (CPU、Vulkan、CUDA 12/13、ROCm、OpenVINO、SYCL、Snapdragon)、Windows (CPU、OpenCL、CUDA 12/13、Vulkan、OpenVINO、SYCL、ROCm)、Android、および openEuler 用のバイナリを提供します。
更新された UI ビルドを含みます。

このアップデートは、特定のメモリアクセスエラーを防ぐことで、CUDA ハードウェア上で Mixture-of-Experts モデルを実行するユーザーの安定性を確保します。

重要度 1/3 信頼度 1/3 llama.cpp Hugging Face Inference efficiency

原文を読む

github llama.cpp · 1日前 · 12 回表示

llama.cpp b11375 が GGML_SCHED_NO_REALLOC 下のグラフ再割り当て中止を修正

llama.cpp プロジェクトはビルド b11375 をリリースし、非連続の ubatch セルが GGML_SCHED_NO_REALLOC フラグが設定されている場合に中止を引き起こすグラフ再割り当てを強制する重大な問題を解決しました。

github llama.cpp · 1日前 · 15 回表示

llama.cpp b11372がqwen4expインデクサーのメモリを半減させ、CUDA 4ヘッドサポートを追加

llama.cpp b11372リリースは、qwen4expモデルのライトニングインデクサーの最適化を導入し、主に長期コンテキスト処理中のインデクサースコアに必要なメモリを半減させます。これは、各ヘッドのために個別のテンソルを生成するのではなく、ヘッドスコアをその場で計算することで実現されます。

github llama.cpp · 1日前 · 17 回表示

llama.cpp b11368 が単純ドラフトと MTP のための確率的サンプリングを追加

llama.cpp プロジェクトはビルド b11368 をリリースし、単純ドラフトおよび MTP（Multi-Token Prediction）ワークフローに確率的サンプリングを導入しました。この更新では、拒否サンプリングによってターゲットを検証しながら確率的選択を使用するようドラフティングメカニズムが変更されました。

github llama.cpp · 2日前 · 16 回表示

llama.cpp b11362 が F16 KV のテンソル API 用フラッシュアテンションカーネルを追加

llama.cpp プロジェクトはビルド b11362 をリリースし、F16 キーバリュー (KV) ストレージをサポートする新しいテンソル API フラッシュアテンションカーネルを導入しました。このアップデートは、CUDA、Vulkan、ROCm を含むさまざまなバックエンドオプションとともに、macOS、Linux、Windows、Android、iOS のプラットフォームで利用可能です。

github llama.cpp · 2日前 · 16 回表示

llama.cpp b11351がggmlバックエンドバッファ型インターフェースにalloc_buffer_nおよびget_alloc_size_nを追加

llama.cppプロジェクトはビルドb11351をリリースし、ggmlバックエンドバッファ型インターフェースに新しいメソッドを導入しました。この更新により、バッファ割り当てとサイズ照会のより細かな制御が可能になる`alloc_buffer_n`および`get_alloc_size_n`が追加されました。