github llama.cpp · 1時間前 · inference

ggml-webgpu リファクタリングを含む llama.cpp b10336 リリース

翻訳元 English → 日本語

llama.cpp プロジェクトはバージョン b10336 をリリースしました。これには、ggml-webgpu コンポーネント内の複数の wgsl ファイルのリファクタリングと flash_attn wgsl の簡素化が含まれています。

このアップデートでは、macOS (Apple Silicon および Intel)、iOS、Linux (CPU、Vulkan、ROCm 7.2、OpenVINO、SYCL 付き Ubuntu)、Android、Windows (CPU、OpenCL、CUDA 12/13、Vulkan、OpenVINO、SYCL、HIP)、および openEuler プラットフォーム用のバイナリが提供されます。

リリースには、ユーザーがモデル推論エンジンと対話するための標準的な UI ビルドも含まれています。

重要度 1/3 信頼度 1/3 llama.cpp Inference efficiency Local inference

原文を読む

関連記事

media Hugging Face Forums · 1日前 · 8 回表示

vLLM Launcher がローカル LLM 推論用の Windows デスクトップワークベンチを提供

WSL2 を介してローカル大規模言語モデルの推論を管理するために設計された、vLLM Launcher という新しいプロジェクトが Windows デスクトップアプリケーションとしてリリースされました。このツールを使用すると、vLLM、SGLang、llama.cpp を含む複数のエンジンバックエンドを単一のグラフィカルインターフェースから制御できます。

github llama.cpp · 2日前 · 1 回表示

llama.cpp b10330 が CUDA で rms_norm、mul、rope を融合

llama.cpp プロジェクトはバージョン b10330 をリリースし、rms_norm、乗算、RoPE の操作を単一のカーネルに融合する CUDA 最適化を導入しました。この変更には、融合された操作のメモリ範囲チェックと、ブロードキャスト重みのための新しいテストケースが伴います。

github llama.cpp · 2日前 · 6 回表示

llama.cpp b10328 が Docker を介したサーバーツールの初期分離を追加

llama.cpp プロジェクトはビルド b10328 をリリースし、Docker を使用してサーバーコンポーネント内のツールを分離する初期サポートを導入しました。このアップデートには、ツール I/O サンドボックスの分離と関連設定フラグのリネームのためのドキュメントとコード適応が含まれています。

github llama.cpp · 2日前 · 5 回表示

llama.cpp b10327 が量子化コピーカーネルのスレッド/ブロック数を修正

llama.cpp プロジェクトはバージョン b10327 をリリースし、CUDA 上の量子化コピーカーネルの起動におけるスレッド数とブロック数の修正を含んでいます。このアップデートは pull request #26731 で特定された問題を解決します。

github llama.cpp · 3日前 · 7 回表示

llama.cpp b10313 がサーバーに LRU スケジューラーを追加

llama.cpp プロジェクトはバージョン b10313 をリリースし、サーバーコンポーネントに Least Recently Used (LRU) スケジューラーを導入しました。このアップデートには、リクエストの結合処理とストリーミングケースの修正が含まれます。