github llama.cpp · たった今 · inference

llama.cpp b10792 が空のオブジェクトスキーマに対する GBNF 文法生成を修正

翻訳元 English → 日本語

llama.cpp プロジェクトはビルド b10792 をリリースしました。これには、空のオブジェクトスキーマの問題に対処した GBNF 文法生成の修正が含まれています。

このリリースでは、CPU、CUDA、Vulkan、ROCm、OpenVINO、SYCL、OpenCL を含むさまざまなハードウェアバックエンド向けに、macOS（Apple Silicon および Intel）、iOS、Linux（Ubuntu x64、arm64、s390x）、Android、Windows、openEuler 用のバイナリとフレームワークが提供されます。

このアップデートにより、GBNF における空のオブジェクトスキーマの文法生成が正しく行われるようになりました。

重要度 1/3 信頼度 1/3 llama.cpp Inference efficiency

原文を読む

github llama.cpp · たった今ライブ

llama.cpp b10791がOpenCLの量子化lm_headおよびデコードGEMVの最適化を追加

llama.cppプロジェクトはバージョンb10791をリリースし、量子化された言語モデルのヘッドとデコードGEMV演算に対する重要なOpenCL最適化を導入しました。このアップデートには、推論デコーディングやマルチトークン予測に関連するミディアムバッチGEMMの改善も含まれています。

github llama.cpp · 2時間前 · 1 回表示

llama.cpp b10790 が SM87 の MMVQ から MMQ へのクロスをチューニング

llama.cpp プロジェクトは、SM87 向けの MMVQ から MMQ へのクロスの特定のチューニングを含むビルド b10790 をリリースしました。

media r/LocalLLaMA · 7時間前 · 1 回表示

IFMが4Bのアクティブパラメータを持つ疎なMoEモデルK2-Horizon-MoVA-36B-A4Bをリリース

IFMは、Mixture-of-Values注意機構を搭載し、36Bのパラメータを保存しながらトークンごとに4Bのみを実行するMixture-of-ExpertsモデルであるK2-Horizon-MoVA-36B-A4Bの最終チェックポイントをリリースしました。リリースにはGGUF形式とK2-Horizonファミリー内のより小さなバリアントへのリンクが含まれています。

github llama.cpp · 9時間前 · 2 回表示

llama.cppがMetalプリフィルにスパースフラッシュアテンションサポートを追加

llama.cppプロジェクトは、モデル推論のプリフィルフェーズを対象として、Metalバックエンドにスパースフラッシュアテンション（FA）サポートを導入しました。この更新には、有限マスクエントリを行ごとのインデックスリストに圧縮する新しいカーネルと、オプションのスパースインデックス収集で拡張されたベクトルFAカーネルが含まれています。

github llama.cpp · 10時間前 · 2 回表示

llama.cpp b10782 がマルチGPU CUDA グラフ最適化を修正

llama.cpp プロジェクトはビルド b10782 をリリースし、マルチGPU環境におけるCUDAバックエンドの重大な問題を解決しました。このアップデートにより、各スプリットごとの並列ストリームが許可され、複数のデバイス間でCUDAグラフ最適化が正しく実行可能になります。