github llama.cpp · 2日前 · inference

llama.cpp b11078 が生成パラメータの環境変数制御を追加

翻訳元 English → 日本語

llama.cpp プロジェクトはビルド b11078 をリリースし、`llama-server` コンポーネントでの主要な生成パラメータの設定に環境変数のサポートを導入しました。このアップデートにより、ユーザーは `LLAMA_ARG_*` 変数を通じて温度、top-p、min-p、および各種ペナルティを設定できます。

EnvironmentFile（Debian の systemd など）を介して `llama-server` の完全な制御を有効にします。
`llama-gen-docs` を使用して再生成された readme ファイルを含みます。
macOS (Apple Silicon および Intel)、iOS、Linux (CPU、Vulkan、CUDA 12/13、ROCm、OpenVINO、SYCL)、Android、Windows、openEuler 用のバイナリを提供します。

この変更により、標準的なシステム環境ファイル経由で設定を可能にすることで、管理されたサービス環境への llama.cpp の統合が容易になります。

重要度 1/3 信頼度 1/3 llama.cpp Hugging Face Inference efficiency

原文を読む

github llama.cpp · たった今 · 3 回表示ライブ

llama.cpp b11122 が MMVQ GLU 融合を拡張し、新しい SYCL 融合を追加

llama.cpp プロジェクトはバージョン b11122 をリリースしました。これには SYCL バックエンドの重要な更新が含まれています。このリリースでは、MMVQ GLU 融合が混合量子化タイプをサポートするように拡張され、rms_norm+scale および ssm_conv+silu 演算のための新しい融合が導入されました。

github llama.cpp · 14時間前 · 11 回表示

llama.cpp b11111 が Intel Xe の flash attention 最適化カーネルを追加

llama.cpp プロジェクトはビルド b11111 をリリースし、Xe-LPG Plus、Xe2、Xe3 アーキテクチャの split k パス向けに Vulkan ベースの flash attention 最適化カーネルを導入しました。

github llama.cpp · 18時間前 · 9 回表示

llama.cppがHunyuanOCRのDFlashサポートを追加し、ドラフト変換を修正

llama.cppプロジェクトは、ターゲットグラフ内のレイヤー入力テンソルを公開することで、HunyuanOCRモデルとのDFlash推測デコーディングのサポートを追加しました。この変更により、ドラフトモデルが残差ストリームを読み取れるようになり、非推測実行と比較して約0.5のドラフト受容率とバイトレベルで同一のOCR出力を得ながら、画像リクエストを正常に実行できるようになりました。

github llama.cpp · 20時間前 · 11 回表示

llama.cpp b11101 リリースにより llama の重複した find_package 呼び出しが可能に

llama.cpp プロジェクトは、llama ライブラリに対する重複した find_package 呼び出しを可能にするビルドシステムの修正を含むバージョン b11101 をリリースしました。

lab Hugging Face Blog · 21時間前 · 10 回表示

Transformersがggmlカーネル経由でGGUFサポートを追加し、ローカル推論に対応

Hugging FaceのTransformersライブラリは、基盤となるggmlカーネルを活用してllama.cppに近いパフォーマンスを実現しつつ、GGUF量子化モデルの読み込みをサポートするようになりました。この統合により、開発者は対応ハードウェア上で標準的なPyTorchベースのAPI内で量子化済みチェックポイントを直接実行できます。