github llama.cpp · 1時間前 · inference

llama.cpp b10328 が Docker を介したサーバーツールの初期分離を追加

翻訳元 English → 日本語

llama.cpp プロジェクトはビルド b10328 をリリースし、Docker を使用してサーバーコンポーネント内のツールを分離する初期サポートを導入しました。このアップデートには、ツール I/O サンドボックスの分離と関連設定フラグのリネームのためのドキュメントとコード適応が含まれています。

サーバー: Docker 経由で初期ツール分離サポートを追加 (PR #26507)
ドキュメントを更新し、get_info 機能を適応させる
Python の型チェックの問題を修正
tools_io_sandbox と tools_io_docker を分離
sandbox を isolate に、x-tool-docker を x-tool-runtime にリネーム

リリースでは、CPU、CUDA、Vulkan、ROCm、OpenVINO、SYCL、OpenCL を含むさまざまなハードウェアバックエンド向けに、macOS、Linux、Windows、Android、iOS 用のバイナリが提供されています。

重要度 1/3 信頼度 1/3 llama.cpp Inference efficiency Local inference

原文を読む

関連記事

github llama.cpp · たった今ライブ

llama.cpp b10330 が CUDA で rms_norm、mul、rope を融合

llama.cpp プロジェクトはバージョン b10330 をリリースし、rms_norm、乗算、RoPE の操作を単一のカーネルに融合する CUDA 最適化を導入しました。この変更には、融合された操作のメモリ範囲チェックと、ブロードキャスト重みのための新しいテストケースが伴います。

github llama.cpp · 11時間前 · 1 回表示

llama.cpp b10327 が量子化コピーカーネルのスレッド/ブロック数を修正

llama.cpp プロジェクトはバージョン b10327 をリリースし、CUDA 上の量子化コピーカーネルの起動におけるスレッド数とブロック数の修正を含んでいます。このアップデートは pull request #26731 で特定された問題を解決します。

github llama.cpp · 23時間前

llama.cpp b10313 がサーバーに LRU スケジューラーを追加

llama.cpp プロジェクトはバージョン b10313 をリリースし、サーバーコンポーネントに Least Recently Used (LRU) スケジューラーを導入しました。このアップデートには、リクエストの結合処理とストリーミングケースの修正が含まれます。

github llama.cpp · 1日前

llama.cpp b10312 リリース：繁忙なモデル向けのサーバー修正を含む

llama.cpp プロジェクトは、サーバーコンポーネントへの特定の変更を含むバージョン b10312 をリリースしました。主な変更点は、繁忙なモデルがルーターから削除される問題を解決することです。

github llama.cpp · 1日前

llama.cpp b10307 が SYCL NVFP4 パースを修正

llama.cpp プロジェクトはバージョン b10307 をリリースしました。これには、NVFP4 量子化で使用される UE4M3 スケーリング係数を正しくパースするための SYCL GPU コードの修正が含まれています。