github llama.cpp · 2時間前 · inference

llama.cpp 0.4.0がQwen3.8-Flash-NextおよびNemotron-3-Puzzleのサポートを追加

翻訳元 English → 日本語

llama.cpp バージョン 0.4.0 は、Qwen3.8-Flash-Next および NVIDIA Nemotron-3-Puzzle-75B-A9B モデルの初期アーキテクチャサポートを導入し、基盤となる ggml ライブラリをバージョン 0.23.0 にアップグレードしました。

オンデマンドの遅延テンソル読み込みとスロットごとのサーバーコンテキスト制限を追加。
ggml を 0.23.0 に更新し、スパースフラッシュアテンションおよび Apple RDMA トランスポートサポートに対応。
ビデオ入力オプション、n-gram 履歴の検索、量子化器の RAM カップルを導入。
サーバーで `preserve_reasoning` をデフォルトで有効にし、マルチモーダルトークン化ヘルパーを改善。

これらの変更によりモデルの互換性が拡大し、開発者はメモリ使用量とサーバーリソースの割り当てに対してより細かな制御を行えるようになります。

重要度 1/3 信頼度 1/3 llama.cpp Hugging Face Inference efficiency Multimodal

原文を読む

github llama.cpp · 10日前 · 42 回表示

llama.cpp 0.3.0 が dots3-note モデルと DeepSeek 4 の tensor-split を追加

llama.cpp 0.3.0 は、新しい DSA-ISWA KV キャッシュタイプとともに dots3-note マルチモーダルモデルのサポートを導入し、GLM-4.5-Air に対するマルチトークン予測（MTP）サポートも追加しました。今回のリリースでは DeepSeek 4 の tensor-split 機能の追加と、マルチシーケンスのロールバック問題の修正も行われています。

media r/LocalLLaMA · 51日前 · 17 回表示

OvisOCR2がOmniDocBenchで首位、初のエンドツーエンド文書解析モデルに

ATH-MaaSは、Qwen3.5-0.8Bからポストトレーニングされた0.8Bのビジョン言語モデルであるOvisOCR2をリリースしました。このモデルは、v1.6で96.58のスコアを記録し、OmniDocBenchリーダーボードで首位となる初のエンドツーエンドモデルです。

github llama.cpp · 18時間前 · 1 回表示

llama.cpp b10795 が SYCL 演算を融合

llama.cpp プロジェクトはバージョン b10795 をリリースし、SYCL バックエンドの新しい最適化が含まれています。このアップデートにより、GGML_SYCL_ENABLE_FUSION フラグの下で RMS_NORM+MUL+ADD および ADD+ADD 残差チェーンの融合が有効になります。

github llama.cpp · 1日前 · 3 回表示

llama.cpp b10791がOpenCLの量子化lm_headおよびデコードGEMVの最適化を追加

llama.cppプロジェクトはバージョンb10791をリリースし、量子化された言語モデルのヘッドとデコードGEMV演算に対する重要なOpenCL最適化を導入しました。このアップデートには、推論デコーディングやマルチトークン予測に関連するミディアムバッチGEMMの改善も含まれています。

media r/LocalLLaMA · 1日前 · 4 回表示

IFMが4Bのアクティブパラメータを持つ疎なMoEモデルK2-Horizon-MoVA-36B-A4Bをリリース

IFMは、Mixture-of-Values注意機構を搭載し、36Bのパラメータを保存しながらトークンごとに4Bのみを実行するMixture-of-ExpertsモデルであるK2-Horizon-MoVA-36B-A4Bの最終チェックポイントをリリースしました。リリースにはGGUF形式とK2-Horizonファミリー内のより小さなバリアントへのリンクが含まれています。