github llama.cpp · 1時間前 · inference

llama.cpp b10790 が SM87 の MMVQ から MMQ へのクロスをチューニング

翻訳元 English → 日本語

llama.cpp プロジェクトは、SM87 向けの MMVQ から MMQ へのクロスの特定のチューニングを含むビルド b10790 をリリースしました。

このアップデートでは、複数のプラットフォームとハードウェア構成にわたってプリビルドされたバイナリが提供されます。利用可能なビルドには、macOS Apple Silicon および Intel、CPU、Vulkan、ROCm 10.0、OpenVINO、SYCL サポート付きの Linux (Ubuntu)、ならびに CPU、OpenCL Adreno、CUDA 12/13、Vulkan、OpenVINO、SYCL、および ROCm 10.0 を備えた Windows ビルドが含まれます。追加リリースでは、Android arm64、iOS XCFramework、および openEuler x86/aarch64 アーキテクチャがカバーされています。

リリースには、すべてのサポート対象オペレーティングシステム用の標準的な llama.cpp UI パッケージも含まれています。

重要度 1/3 信頼度 1/3 llama.cpp Inference efficiency

原文を読む

関連記事

media r/LocalLLaMA · 6時間前 · 1 回表示

IFMが4Bのアクティブパラメータを持つ疎なMoEモデルK2-Horizon-MoVA-36B-A4Bをリリース

IFMは、Mixture-of-Values注意機構を搭載し、36Bのパラメータを保存しながらトークンごとに4Bのみを実行するMixture-of-ExpertsモデルであるK2-Horizon-MoVA-36B-A4Bの最終チェックポイントをリリースしました。リリースにはGGUF形式とK2-Horizonファミリー内のより小さなバリアントへのリンクが含まれています。

github llama.cpp · 8時間前 · 1 回表示

llama.cppがMetalプリフィルにスパースフラッシュアテンションサポートを追加

llama.cppプロジェクトは、モデル推論のプリフィルフェーズを対象として、Metalバックエンドにスパースフラッシュアテンション（FA）サポートを導入しました。この更新には、有限マスクエントリを行ごとのインデックスリストに圧縮する新しいカーネルと、オプションのスパースインデックス収集で拡張されたベクトルFAカーネルが含まれています。

github llama.cpp · 9時間前 · 2 回表示

llama.cpp b10782 がマルチGPU CUDA グラフ最適化を修正

llama.cpp プロジェクトはビルド b10782 をリリースし、マルチGPU環境におけるCUDAバックエンドの重大な問題を解決しました。このアップデートにより、各スプリットごとの並列ストリームが許可され、複数のデバイス間でCUDAグラフ最適化が正しく実行可能になります。

github llama.cpp · 11時間前 · 1 回表示

llama.cpp b10780 が SYCL API を強化し、ピアツーピアコピーをサポート

llama.cpp プロジェクトはバージョン b10780 をリリースしました。このバージョンには SYCL バックエンドに対する特定のエnhancement が含まれています。このアップデートにより、SYCL デバイス向けのピアツーピアコピー（peer-to-peer copy）機能が有効になるよう API が変更されました。

github llama.cpp · 11時間前 · 2 回表示

llama.cpp b10781がVulkan FAのデキュー化パスの起動を修正

llama.cppプロジェクトは、Vulkan高速アテンション（FA）のデキュー化パスに関する修正を含むビルドb10781をリリースしました。このアップデートは、`ne[3] == 1`の場合でもシェーダーが誤って`nb[3]`をチェックしていた問題を解決し、その結果キャッシュが満杯の場合にのみパスが起動するようになっていた不具合を修正します。